[論文レビュー] Deep 360 Pilot: Learning a Deep Agent for Piloting through 360° Sports Video

Hou-Ning Hu, Yen-Chen Lin+4 more|arXiv (Cornell University)|May 4, 2017

Video Analysis and Summarization参考文献 52被引用数 13

ひとこと要約

本稿では、リアルタイムで最適な視認角度を予測することで、360°スポーツ動画を自動的にナビゲートする深層強化学習エージェント「Deep 360 Pilot」を提案する。最先端のオブジェクト検出器を用いて注目対象の候補を特定し、RNNを用いて主要なオブジェクトを選択する。方策勾配学習を用いて滑らかな視認角度の変化を回帰することで、AUTOCAMなどの先行手法よりも優れた正確性とユーザー満足度を達成した。

ABSTRACT

Watching a 360° sports video requires a viewer to continuously select a viewing angle, either through a sequence of mouse clicks or head movements. To relieve the viewer from this "360 piloting" task, we propose "deep 360 pilot" -- a deep learning-based agent for piloting through 360° sports videos automatically. At each frame, the agent observes a panoramic image and has the knowledge of previously selected viewing angles. The task of the agent is to shift the current viewing angle (i.e. action) to the next preferred one (i.e., goal). We propose to directly learn an online policy of the agent from data. We use the policy gradient technique to jointly train our pipeline: by minimizing (1) a regression loss measuring the distance between the selected and ground truth viewing angles, (2) a smoothness loss encouraging smooth transition in viewing angle, and (3) maximizing an expected reward of focusing on a foreground object. To evaluate our method, we build a new 360-Sports video dataset consisting of five sports domains. We train domain-specific agents and achieve the best performance on viewing angle selection accuracy and transition smoothness compared to [51] and other baselines.

研究の動機と目的

• 高速なスポーツコンテンツにおける、360°動画ナビゲーションの手動操作による負担を軽減すること。
• 注目度の高いオブジェクトを選択し、視認角度を滑らかに切り替えることで、人間の操縦行動を模倣するオンラインでリアルタイムに動作するエージェントを開発すること。
• 360°動画再生におけるジタリーや急激なカメラ移動が引き起こす視聴者の不快感を軽減すること。
• 視覚的注目度と時間的文脈に基づいて視認角度を選択するドメイン特化型エージェントを訓練し、正確性と認識品質の両方を向上させること。

提案手法

• 各パノラマフレーム内の注目対象の候補を、最先端のオブジェクト検出器を用いてバウンディングボックスとして特定する。
• 空間的および時間的文脈に基づいて、候補検出結果から主要なオブジェクトを選択するための再帰的ニューラルネットワーク（RNN）を用いる。
• 現在の視認角度からの視認角度のシフトを回帰するため、方策勾配で訓練された微分可能回帰ヘッドを用いる。
• 訓練の目的関数は3つの成分を組み合わせる：予測された視認角度と真値との間の回帰損失、ジタリを低減するための滑らかさ損失、前面のオブジェクトに注目するよう促す報酬信号。
• 正確性、滑らかさ、注目度のバランスを取るために、方策勾配法を用いてパイプライン全体を共同最適化する。
• オンラインで動作し、現在および過去のフレームのみに依存するため、注視レンダリングなどのストリーミング応用に適している。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、人間の操縦行動を模倣する形で、360°スポーツ動画において最適な視認角度を自動的に選択できるか？
• RQ2 注目度の高いオブジェクトへの的確なターゲティングと視認角度のスムーズな遷移の両立をどのように達成することで、ユーザーの快適性を向上させられるか？
• RQ3 RNNによる時間的文脈の統合は、フレーム単位のベースラインと比較して、視認角度予測の性能をどの程度向上させるか？
• RQ4 定量的指標およびユーザーの好みの観点から、AUTOCAMなどの既存手法と比較して、本手法はどの程度優れているか？
• RQ5 本エージェントは、実世界の360°スポーツ動画シーケンスにおいて、人間がラベル付けした視認角度と同等の性能を達成できるか？

主な発見

• 本手法は、BMXドメインにおいてAUTOCAMより22％の相対的改善を、平均オブジェクトオーバーラップ（MO）で達成し、ダンス分野では3％以上の向上を示した。
• ユーザー満足度において、二項検定のp値が0.001未満であったことから、AUTOCAMを統計的に顕著に上回った。
• 回帰ヘッドを含まないアブレーションバージョンと比較して、本手法は統計的に優れていた（p < 0.05）。これは、オブジェクト追跡の正確性が同等であっても、滑らかさがユーザーの認識に良い影響を与えることを示している。
• ユーザー評価では、スケートボーディング（p < 0.405）およびダンス（p < 0.242）において、人間ラベルの真値と区別がつかない結果となり、高い知覚的品質を示した。
• 視認角度の軌道を可視化した比較では、本手法はAUTOCAMよりも滑らかで、ジタリが低減され、急激な遷移が減少していた。
• 公開済みの動画サブセットにおいて、本手法はベースライン[53]に比べて定量的指標で140％の性能向上を達成し、優れた汎化性とスケーラビリティを示した。