[論文レビュー] Semantic-driven Generation of Hyperlapse from $360^\circ$ Video

Wei‐Sheng Lai, Yujia Huang+4 more|arXiv (Cornell University)|Mar 31, 2017

Image and Video Stabilization参考文献 27被引用数 9

ひとこと要約

本論文は、視覚的注目度、シーンの意味的特徴、ユーザー定義の対象物の関心を活用して、空間的・時間的非一様サンプリングを行うことで、$360^\circ$ ビデオから意味的駆動型ハイパーレップを生成する最初のシステムを提示する。入力ビデオを安定化し、注目度と意味スコアを計算し、滑らかなカメラパスを最適化した後、適応的2次元安定化を適用して、視覚的に安定で注目が集まったハイパーレップを生成する。この手法は、ユーザーの好みにおいて最先端の手法を上回る結果を示した。

ABSTRACT

We present a system for converting a fully panoramic ($360^\circ$) video into a normal field-of-view (NFOV) hyperlapse for an optimal viewing experience. Our system exploits visual saliency and semantics to non-uniformly sample in space and time for generating hyperlapses. In addition, users can optionally choose objects of interest for customizing the hyperlapses. We first stabilize an input $360^\circ$ video by smoothing the rotation between adjacent frames and then compute regions of interest and saliency scores. An initial hyperlapse is generated by optimizing the saliency and motion smoothness followed by the saliency-aware frame selection. We further smooth the result using an efficient 2D video stabilization approach that adaptively selects the motion model to generate the final hyperlapse. We validate the design of our system by showing results for a variety of scenes and comparing against the state-of-the-art method through a user study.

研究の動機と目的

• 長時間にわたる没入型の $360^\circ$ ビデオを視聴する課題に対処し、要約的で安定的かつ視覚的にインパクトのあるハイパーレップを自動生成すること。
• 視覚的注目度と意味的セグメンテーションを統合することで、空間的・時間的カメラパス計画を支援し、視聴体験を向上させること。
• ユーザーが関心を持つ対象物の選択を可能にすることで、パーソナライズされたハイパーレップ生成を実現すること。
• 各フレームのモーショントランスフォームモデル選択を適応的に行うことで、最終出力における視覚的ジャイブを低減する、2次元ビデオ安定化技術を用いて、最終的なハイパーレップの視覚的滑らかさを保証すること。
• 大規模なユーザー調査を用いて、知覚的品質と好みの観点から、既存手法と比較して本システムの優位性を検証すること。

提案手法

• システムはまず、クaternionベースのモーショントランスフォーム推定とガウス重み付きカーネルを用いたSlerp補間により、フレーム間の回転遷移を滑らかにすることで、$360^\circ$ ビデオを安定化する。
• 光学フローと動きパララックスを用いて空間的注目領域と注目度スコアを計算し、オブジェクトカテゴリの特定に意味的セグメンテーションを活用する。
• 動的プログラミングを用いて、注目度、モーショントランスフォームの滑らかさ、時間的整合性の組み合わせを最適化することで、初期のハイパーレップを生成する。
• 各フレームに対してモーショントランスフォームモデル（例：並進、回転、アフィン）を適応的に選択する、強力な2次元ビデオ安定化技術を適用し、最終出力におけるジャイブを低減する。
• 注目領域が検出されない場合のモーショントランスフォームの事前知識として、光学フローのベクトルにHough変換を適用して、拡張の中心（FOE）と収縮の中心（FOC）を推定する。
• 最適化されたカメラパスに従って、安定化された $360^\circ$ ビデオをワープすることで最終的なハイパーレップをレンダリングし、ユーザー指定の対象物がパス計画において優先される。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的意味的および注目度駆動型サンプリングは、$360^\circ$ ビデオからのハイパーレップの品質と没入感を向上させることができるか？
• RQ2 ユーザーが定義した対象物の関心を統合することで、生成されたハイパーレップの知覚的品質と個人的関連性は向上するか？
• RQ3 適応的2次元安定化は、視覚的ジャイブを顕著に低減できるか？また、元の $360^\circ$ ビデオに著しいカメラシェイクが存在する場合でも、モーショントランスフォームの滑らかさを維持できるか？
• RQ4 Pano2Vid などの最先端手法と比較して、本手法はユーザーの好みと知覚的品質の観点で優れているか？
• RQ5 意味的セグメンテーションと注目度推定は、最終的なハイパーレップの安定性と注目度の集中にどのような影響を及ぼすか？

主な発見

• 大規模なユーザー調査において、本システムが最先端手法を顕著に上回ることを示し、参加者の大多数が視覚的品質と没入感の面で本手法を高く評価した。
• 意味的セグメンテーションと注目度スコアの統合により、特に動きのあるオブジェクトが多数存在する複雑なシーンでも、より一貫性があり注目が集まったカメラパスが得られた。
• 適応的2次元安定化手法は、視覚的ジャイブを効果的に低減し、元の $360^\circ$ ビデオに著しいカメラシェイクが存在する場合でも、滑らかなハイパーレップを生成できた。
• 本システムは、動的都市環境や静的パノラマビューを含む多様なシーンを効果的に処理でき、さまざまなコンテンツタイプにわたる堅牢性を示した。
• ユーザーが対象物を指定することで、よりパーソナライズされ満足度の高いハイパーレップ出力を得られ、調査におけるユーザーのフィードバックで裏付けられた。
• 本システムは、Pano2Vid が全長のNFOVシーケンスを出力するのに対し、$360^\circ$ ビデオから真正のハイパーレップ（入力より短い）を生成する最初のシステムである。