[論文レビュー] Making 360$^{\circ}$ Video Watchable in 2D: Learning Videography for Click Free Viewing

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|Mar 1, 2017

Advanced Vision and Imaging参考文献 32被引用数 10

ひとこと要約

本稿では、360°映像から視聴可能な2D動画を自動生成する学習ベースのバーチャル・コメンタリー・システムを提案する。カメラポーズと画角（FOV）の両方を制御し、粗いから細かい最適化を用いることで、効率的で多様かつ人間らしいカメラトラジェクトリを実現する。本手法は、ベースライン比で映像品質を最大43.4%向上させるとともに、先行研究と比較して計算コストを84%削減する。

ABSTRACT

360$^{\circ}$ video requires human viewers to actively control "where" to look while watching the video. Although it provides a more immersive experience of the visual content, it also introduces additional burden for viewers; awkward interfaces to navigate the video lead to suboptimal viewing experiences. Virtual cinematography is an appealing direction to remedy these problems, but conventional methods are limited to virtual environments or rely on hand-crafted heuristics. We propose a new algorithm for virtual cinematography that automatically controls a virtual camera within a 360$^{\circ}$ video. Compared to the state of the art, our algorithm allows more general camera control, avoids redundant outputs, and extracts its output videos substantially more efficiently. Experimental results on over 7 hours of real "in the wild" video show that our generalized camera control is crucial for viewing 360$^{\circ}$ video, while the proposed efficient algorithm is essential for making the generalized control computationally tractable.

研究の動機と目的

• ユーザーがコンテンツを手動でナビゲートしなければならない、受動的360°動画視聴の課題に対処すること。
• ズームを含む動的画角（FOV）制御を可能にすることで、パノラマ2ビデオ（Pano2Vid）タスクを一般化し、人間の映像制作をよりよく模倣すること。
• 現実世界の360°動画にスケーラブルでありながら高品質な出力を維持する計算効率の良いアルゴリズムを開発すること。
• 重複を避け、複数の妥当な人間の編集選択を反映する多様でマルチモーダルなカメラトラジェクトリを生成すること。

提案手法

• カメラポーズと可変画角を制御できる一般化されたPano2Vid問題を導入し、ズーム機能によりリアリズムを向上させる。
• 探索空間を段階的に縮小しながらカメラトラジェクトリを繰り返し精錬する、粗いから細かい探索戦略を採用する。
• 人間が編集した動画上で訓練された微分可能で撮影価値（capture-worthiness）モデルを用い、どの動画セグメントがカメラフレーミングに適しているかを予測する。
• 動的プログラミングを用いた多様性を促進する目的関数を導入し、重複する出力を避ける多様なトラジェクトリ探索を実装する。
• 時間的・空間的グリムプス（ST-glimpses）を用いて、時間と空間にわたる候補となるカメラビューを表現し、処理を効率化する。
• 自然な動きとコンテンツの関連性の両立を図るため、トラジェクトリの滑らかさと人間編集動画からの区別可能性の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ズームを含む動的画角制御（FOV）が、360°映像から自動生成される2D動画の品質を顕著に向上させることができるか？
• RQ2 360°動画カメラ制御の高次元探索空間を処理できる計算効率の良いアルゴリズムをどのように設計できるか？
• RQ3 学習ベースのアプローチが、人間の映像制作のマルチモーダル性を反映する多様で重複のないカメラトラジェクトリを生成できるか？
• RQ4 本手法は、手作業によるヒューリスティクスやサリエンシーに基づくベースラインと比較して、知覚的品質と計算コストの両面で優れているか？

主な発見

• 人間による編集動画との区別可能性を人間評価で測定したところ、本手法は既存のベースライン比で映像品質を最大43.4%向上させた。
• 粗いから細かい最適化により、非最適化バージョンと比較して実行時間を84%削減し、現実世界の360°動画処理に実用的であることが示された。
• 本手法は、非多様性を考慮したバージョンと比較して、2〜3倍の異なるカメラトラジェクトリを生成し、サリエンシーに基づくベースラインより著しく出力の多様性に優れた。
• 本システムは、すべてのベースライン（AutoCamを含む）と比較して、人間編集動画とのトラジェクトリオーバーラップが高く、人間の編集好みに適切に一致していることが示された。
• サリエンシーに基づくアプローチを除くすべての指標で本手法が優れており、サリエンシーが映像制作品質の弱い代理指標であることが示された。
• 滑らかさ制約が、急激に動くシーンでは応答性を制限することがあり、家族メンバーなどに注目する文脈に依存する好み（例：家族メンバーに焦点を当てる）は、モデルで完全に捉えられていない。