[논문 리뷰] Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

Zhengxia Zou|arXiv (Cornell University)|2020. 10. 22.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 IMU나 사용자 상호작용 없이도 실시간으로 영상에서 동적 하늘을 대체하고 조화시키는 순수 시각 기반 방법을 제안한다. 굵은에서 세밀한 하늘 매트팅 네트워크, 애핀 변형 하늘 운동 하에 대한 운동 추정, 그리고 왜곡, 혼합, 재조명, 색상 보정을 위한 스카이박스를 사용하여 다양한 휴대용 및 데스크캠 영상에서 높은 품질의 시각적으로 현실적인 결과를 달성한다. 하늘 스타일과 동적 조명을 제어할 수 있다.

ABSTRACT

This paper proposes a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics. Our code and animated results are available at \url{https://jiupinjia.github.io/skyar/}.

연구 동기 및 목표

• 전문 영화 제작 워크플로우 외부에서 자동으로 실시간 하늘 편집 솔루션의 부족을 해결한다.
• 이전 방법들이 IMU 데이터에 의존하거나 정적 이미지에 국한되는 한계를 극복한다.
• 온라인 증강현실 및 오프라인 영상 편집 환경 모두에서 완전 자동, 일클릭 하늘 대체를 가능하게 한다.
• 전경과 합성된 하늘 간의 조명, 색상, 운동 동적 특성을 조화시켜 빛의 현실감 있는 혼합을 달성한다.
• 다양한 실세계 영상 조건—기상 변화, 시간대, 카메라 운동 등—에 일반화한다.

제안 방법

• 경계 정확도 향상을 위해 이진 분할이 아닌 소프트 하늘 매트를 예측하는 딥러닝 기반 굵은에서 세밀한 하늘 매트팅 네트워크를 사용한다.
• 공간적 위치 사전 지식을 통합하기 위해 좌표 컨볼루션(CoordConv) 레이어를 사용하여 하늘 경계에서의 매트팅 성능을 향상시킨다.
• 하늘이나 하늘 내 객체가 무한한 거리에 있다고 가정하고 특징 추적을 통해 운동을 추정하며, 전경 대비 애핀 변형으로 모델링한다.
• 추정된 운동 파rameters를 사용해 선택된 하늘 템플릿을 왜곡하고 선형 혼합을 통해 전경과 혼합하는 스카이박스 모듈을 구현한다.
• 두 단계의 색상 보정을 적용한다: (1) 전경과 하늘 색조를 일치시키기 위한 색상 이행, (2) 현실감 있는 분위기 조명을 조정하기 위한 재조명.
• 모든 구성 요소를 종단 간 실시간 파이프라인으로 통합하여 온라인 및 오프라인 영상 처리 모두에 적합하다.

실험 결과

연구 질문

• RQ1 IMU나 사용자 상호작용에 의존하지 않고도 영상에서 동적 하늘 대체를 달성할 수 있는가?
• RQ2 이진 분할 대비 소프트 하늘 매트팅이 하늘 대체 작업에서 혼합 품질을 어떻게 향상시키는가?
• RQ3 실세계 영상에서 시각 기반 운동 추정이 하늘 운동을 얼마나 정확히 모델링할 수 있는가?
• RQ4 색상 이행과 재조명은 전경과 합성된 하늘 간의 시각적 조화를 얼마나 효과적으로 달성하는가?
• RQ5 야간이나 무문자 하늘과 같은 도전적인 조건에서 순수 시각 기반 하늘 대체 시스템의 실패 유형은 무엇인가?

주요 결과

• 단일 단계 또는 하드 세그먼테이션 방법에 비해 두 단계 소프트 매트팅 네트워크가 경계에서 더 높은 시각적 품질을 달성하지만, PSNR 향상은 단지 0.14%에 그친다.
• 좌표 컨볼루션 레이어를 제거하면 PSNR가 0.26–0.30 감소하고 SSIM이 0.005–0.015 감소하여, 하늘 매트팅에서 공간적 추론에 있어 그 중요성을 확인한다.
• 색상 이행과 재조명이 현실감 향상에 크게 기여한다: 색상 이행은 톤 불일치 문제를 해결하고, 재조명은 분위기 조명 일관성을 향상시킨다.
• 스마트폰 및 데스크캠에서 촬영한 다양한 실세계 영상에서 고해상도 결과를 달성하며, 조명 및 운동 동적 특성에 대해 강력한 일반화 능력을 보인다.
• 한계점으로는 야간 영상에서의 실패(학습 데이터 부족)와 하늘 기능이 없거나 흐리게 분포된 경우의 정확도 떨어지는 운동 추정이 있다.
• 이 프레임워크는 낮에서 밤, 흐린 하늘에서 비 오는 하늘로의 날씨 및 조명 전환을 제어 가능하게 하여 단순한 하늘 대체를 넘어서는 유용성을 입증한다.