[논문 리뷰] Making 360$^{\circ}$ Video Watchable in 2D: Learning Videography for Click Free Viewing

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|2017. 03. 01.

Advanced Vision and Imaging참고 문헌 32인용 수 10

한 줄 요약

이 논문은 360° 영상에서 카메라 자세와 시야각(FOV)을 동시에 제어함으로써 자동으로 시청 가능한 2D 영상을 생성하는 학습 기반 가상 시네마토그래피 시스템을 제안한다. 이는 계층적 최적화 전략을 통해 효율적이고 다양한, 인간과 유사한 카메라 경로를 가능하게 한다. 제안된 방법은 기존 기준 대비 영상 품질을 최대 43.4% 향상시키며, 이전 연구 대비 계산 비용을 84% 감소시킨다.

ABSTRACT

360$^{\circ}$ video requires human viewers to actively control "where" to look while watching the video. Although it provides a more immersive experience of the visual content, it also introduces additional burden for viewers; awkward interfaces to navigate the video lead to suboptimal viewing experiences. Virtual cinematography is an appealing direction to remedy these problems, but conventional methods are limited to virtual environments or rely on hand-crafted heuristics. We propose a new algorithm for virtual cinematography that automatically controls a virtual camera within a 360$^{\circ}$ video. Compared to the state of the art, our algorithm allows more general camera control, avoids redundant outputs, and extracts its output videos substantially more efficiently. Experimental results on over 7 hours of real "in the wild" video show that our generalized camera control is crucial for viewing 360$^{\circ}$ video, while the proposed efficient algorithm is essential for making the generalized control computationally tractable.

연구 동기 및 목표

• 사용자가 수동으로 콘텐츠를 탐색해야 하는 수동적 360° 영상 시청 문제를 해결하기 위해.
• Pano2Vid 작업을 일반화하여 동적 시야각(FOV) 제어, 특히 줌 기능을 포함함으로써 인간의 영상 촬영 방식을 더 잘 모방하기 위해.
• 실세계 360° 영상에 대응할 수 있고 높은 품질의 출력을 유지하면서도 계산 비용이 효율적인 알고리즘 개발을 위해.
• 다양하고 다중 모odal한 카메라 경로를 생성하여 부정확한 반복을 방지하고 인간 편집 방식의 다각적 가능성을 반영하기 위해.

제안 방법

• 카메라 자세와 가변적 FOV를 제어하는 일반화된 Pano2Vid 문제를 도입하여 줌 기능을 통해 현실감을 향상시킨다.
• 계산량을 줄이기 위해 검색 공간을 점차 축소하면서도 카메라 경로를 반복적으로 정밀화하는 계층적 최적화 전략을 적용한다.
• 인간 편집 영상 데이터를 기반으로 학습된 미분 가능한 촬영가치 모델을 도입하여, 어떤 영상 세그먼트가 카메라 프레임에 가장 적합한지 예측한다.
• 다양성 유도 목적 함수를 사용한 동적 프로그래밍을 활용해 다각적 경로 탐색을 구현하여 중복 출력을 방지한다.
• 공간과 시간을 모두 고려한 스파atiotemporal 견문(ST-glimpses)을 사용해 후보 카메라 뷰를 효율적으로 표현한다.
• 자연스러운 움직임과 콘텐츠의 관련성을 균형 잡기 위해 경로의 매끄러움과 인간 편집 영상과의 구별 가능성을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 동적 시야각 제어(줌 포함)가 360° 영상에서 자동으로 생성된 2D 영상의 품질을 크게 향상시킬 수 있는가?
• RQ2 360° 영상 카메라 제어의 고차원적 검색 공간을 다룰 수 있는 계산 비용이 효율적인 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 학습 기반 접근 방식이 인간 영상 촬영의 다중 모달성 특성을 반영하면서도 다양하고 중복되지 않는 카메라 경로를 생성할 수 있는가?
• RQ4 감각적 품질과 계산 비용 측면에서 수작업 히ュ리스틱과 감각 기반 기준 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 인간 편집 영상와의 구별 가능성에 대한 인간 평가를 통해 기존 기준 대비 최대 43.4% 향상된 영상 품질을 달성한다.
• 계층적 최적화 전략 덕분에 비최적화 버전 대비 런타임을 84% 감소시켜 실세계 360° 영상 처리에 실용적으로 적용할 수 있도록 한다.
• 비다양성 버전 대비 2~3배 더 많은 고유한 카메라 경로를 생성하여 감각 기반 기준 대비 출력 다양성에서 뚜렷한 우월성을 보인다.
• 모든 기준 대비 인간 편집 영상과의 경로 겹침 비율이 더 높아, 인간 편집 선호도와 더 잘 일치함을 시사한다.
• 감각 기반 접근 방식을 제외한 모든 지표에서 제안된 방법이 우월하며, 감각이 영상 품질의 약한 지표임을 시사한다.
• 매끄러움 제약이 빠르게 움직이는 장면에서는 반응성을 제한할 수 있으며, 특정 맥락(예: 가족 구성원에 집중)에 대한 선호도는 모델이 완전히 반영하지 못한다.