[논문 리뷰] Synthetic Defocus and Look-Ahead Autofocus for Casual Videography

Xuaner Zhang, Kevin Matzen외 4명|arXiv (Cornell University)|2019. 05. 15.

Image Processing Techniques and Applications참고 문헌 61인용 수 4

한 줄 요약

이 논문은 스마트폰으로 촬영한 깊은 초점거리(Deep DOF) 영상에서 재구성 가능한 영상(Refocusable Video)을 합성하고, 향후 프레임을 분석하는 AI 기반의 '미래 예측' 분석을 통해 영화적인 얕은 초점거리와 맥락 인식 자동 초점 기능을 가능하게 하는 RVR-LAAF 시스템을 소개한다. 주요 기여는 향후 초점 결정을 고려함으로써 실시간 자동 초점의 한계를 극복하고, 예측 불가능한 동작 동안에도 부드럽고 정확한 주제 추적을 가능하게 하는 새로운 프레임워크를 개발한 데 있다.

ABSTRACT

In cinema, large camera lenses create beautiful shallow depth of field (DOF), but make focusing difficult and expensive. Accurate cinema focus usually relies on a script and a person to control focus in realtime. Casual videographers often crave cinematic focus, but fail to achieve it. We either sacrifice shallow DOF, as in smartphone videos; or we struggle to deliver accurate focus, as in videos from larger cameras. This paper is about a new approach in the pursuit of cinematic focus for casual videography. We present a system that synthetically renders refocusable video from a deep DOF video shot with a smartphone, and analyzes future video frames to deliver context-aware autofocus for the current frame. To create refocusable video, we extend recent machine learning methods designed for still photography, contributing a new dataset for machine training, a rendering model better suited to cinema focus, and a filtering solution for temporal coherence. To choose focus accurately for each frame, we demonstrate autofocus that looks at upcoming video frames and applies AI-assist modules such as motion, face, audio and saliency detection. We also show that autofocus benefits from machine learning and a large-scale video dataset with focus annotation, where we use our RVR-LAAF GUI to create this sizable dataset efficiently. We deliver, for example, a shallow DOF video where the autofocus transitions onto each person before she begins to speak. This is impossible for conventional camera autofocus because it would require seeing into the future.

연구 동기 및 목표

• 일상 영상 촬영에서 예측 불가능한 주제 운동과 스크립트 기반 안내의 부재로 인해 발생하는 실시간 카메라 자동 초점 오류라는 근본적인 한계를 해결하기 위해.
• 작은 센서 크기와 고정 초점으로 인해 전통적으로 영화적인 블러 효과(Bokeh)를 포기해야 했던 스마트폰 영상에서 얕은 초점거리 효과를 가능하게 하기 위해.
• 사람이 말을 시작하기 시작하는 것과 같은 결정적 행동을 예측할 수 없었던 기존 자동 초점 기술의 한계를 극복하기 위해 '미래 인지' 초점 결정 기능을 도입하기 위해.
• 기계 학습, 물리 기반 렌더링, 시간적 일관성을 결합한 실용적인 종단 간(end-to-end) 시스템을 개발하기 위해.
• AI 지원 레이아웃 분석 기반 자동 초점이 실시간 카메라 시스템에 비해 초점 정확도와 전환의 부드러움을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 2,000개 이상의 이미지 쌍/삼중체로 구성된 새로운 데이터셋을 기반으로 훈련된 딥 러닝 모델을 사용하여 깊은 초점거리 스마트폰 영상에서 재구성 가능한 영상을 합성한다.
• 예측된 깊이 맵, HDR 추정, 렌즈 특화 블러 커널을 조합하는 물리 기반 렌더링 모델을 활용하여 영화적인 블러 효과를 구현한 얕은 초점거리 영상을 시뮬레이션한다.
• 시간적 일관성을 확보하기 위해 프레임 간 블러 전환을 안정화시키는 필터링 솔루션을 적용하여 깜빡임과 일관성 없는 현상을 감소시킨다.
• 미래 예측 자동 초점(Look-Ahead Autofocus, LAAF)은 운동, 얼굴 탐지, 음성 활동, 주목도 분석 등의 AI 모듈을 활용해 향후 영상 프레임을 분석하여 초점 대상을 예측한다.
• LAAF 프레임워크는 RVR-LAAF GUI를 통해 대규모 영상 데이터셋에 초점 전환 정보를 효율적으로 주석 처리하여 훈련에 활용한다.
• 미래 프레임의 예측 분석에 기반한 초점 결정을 통해 주제가 말을 시작하거나 행동을 시작하기 전에 초점을 전환할 수 있으며, 이는 실시간 카메라 자동 초점 시스템으로서는 불가능한 기능이다.

실험 결과

연구 질문

• RQ1 기계 학습과 물리 기반 렌더링을 활용해 스마트폰으로 촬영한 깊은 초점거리 영상에서 신뢰할 수 있는 재구성 가능한 영상을 합성할 수 있는가?
• RQ2 향후 프레임 분석을 통해 실시간 카메라 시스템보다 더 정확하고 예측 가능한 자동 초점 결정을 가능하게 할 수 있는가?
• RQ3 AI 지원 레이아웃 분석 기반 자동 초점은 동적 주제를 추적하고 핵심 내러티브 행동 전에 초점을 전환하는 데 얼마나 효과적인가?
• RQ4 시간 필터링은 재구성 가능한 영상에서 시각적 일관성을 얼마나 향상시키는가?
• RQ5 학습된 깊이 맵과 HDR 맵을 활용해 아나모픽 렌즈 블러와 같은 영화적 블러 효과를 시뮬레이션할 수 있는가?

주요 결과

• RVR-LAAF 시스템은 학습된 깊이 맵과 HDR 추정을 통해 스마트폰으로 촬영한 깊은 초점거리 영상에서 재구성 가능한 영상을 성공적으로 생성하였으며, 시각적 품질과 시간적 안정성이 향상되었다.
• 레이아웃 분석 기반 자동 초점은 주자가 말을 시작하기 전에 초점을 맞추는 데 성공하였으며, 이는 기존 실시간 자동 초점 시스템으로서는 불가능한 능력이다.
• 스포츠 선수와 같이 빠르게 움직이는 주제에 대해서도 행동을 예측하고 사전에 초점을 전환함으로써 뛰어난 초점 추적 성능을 보였다.
• 전문 영화 촬영 렌즈의 렌즈 특화 블러 커널을 모델링함으로써 비원형 블러를 포함한 정확한 영화적 블러 효과를 시뮬레이션하였다.
• 고급 DSLR 카메라와의 비교에서, 빠른 주제 전환 상황에서 RVR-LAAF가 초점 전환 정확도에서 뛰어난 성능을 보였으며, 측면 비교 영상으로 검증되었다.
• 전용 시간 안정화 모듈을 통해 블러의 시간적 깜빡임을 감소시켜 재구성 영상의 시각적 일관성을 크게 향상시켰다.