[論文レビュー] Learning Gaze Transitions from Depth to Improve Video Saliency Estimation

George Leifman, Dmitry Rudoy+3 more|arXiv (Cornell University)|Mar 11, 2016

Visual Attention and Saliency Detection参考文献 16被引用数 4

ひとこと要約

本論文は、RGBおよび深度入力を用いて、1フレームから次のフレームへの注視移動をモデル化することで、注視マップを予測する生成的畳み込みニューラルネットワークを活用した深度に敏感な動画サリエンシー・モデルを提案する。本手法は、視覚的注意に与える深度の複雑で文脈依存的な影響を学習することで、最先端の手法よりも相対的に15%の性能向上を達成した。その妥当性は、新規のRGBD動画眼動測定データセット（DAViS）を用いて検証された。

ABSTRACT

In this paper we introduce a novel Depth-Aware Video Saliency approach to predict human focus of attention when viewing RGBD videos on regular 2D screens. We train a generative convolutional neural network which predicts a saliency map for a frame, given the fixation map of the previous frame. Saliency estimation in this scenario is highly important since in the near future 3D video content will be easily acquired and yet hard to display. This can be explained, on the one hand, by the dramatic improvement of 3D-capable acquisition equipment. On the other hand, despite the considerable progress in 3D display technologies, most of the 3D displays are still expensive and require wearing special glasses. To evaluate the performance of our approach, we present a new comprehensive database of eye-fixation ground-truth for RGBD videos. Our experiments indicate that integrating depth into video saliency calculation is beneficial. We demonstrate that our approach outperforms state-of-the-art methods for video saliency, achieving 15% relative improvement.

研究の動機と目的

• 2次元スクリーンに表示された3次元動画コンテンツにおける人間の視覚的注意を予測する課題に取り組むこと。この際、深度情報は存在するがレンダリングされない。
• 近いまたは遠いオブジェクトが文脈によってはより注目されやすいなど、深度がサリエンシーに与える影響に曖昧さが生じるが、固定された事前知識を適用するのではなく、データから学習することでその曖昧さを克服すること。
• 実世界の状況を再現するため、2次元スクリーンで視聴中に収集された眼動測定データを含む、RGBD動画の包括的なデータセットを構築すること。
• 学習ベースのサリエンシー枠組みに深度を統合することで、深度を無視する手法や単純なヒューリスティクスを用いる手法と比較して、精度と頑健性が向上することを示すこと。

提案手法

• 前フレームのサリエンシー・マップに加え、現在のRGBおよび深度入力を用いて、現在のフレームのサリエンシー・マップを予測する生成的畳み込みニューラルネットワークを訓練する。
• 再帰的構造を用い、ネットワークが視覚的および深度的キューに応じた動的注視シフトを暗黙的に学習できるようにする。
• 深度を主要な入力モodalとして統合し、固定ルール（例：「近いオブジェクトがより注目される」）を適用するのではなく、文脈に応じた深度とサリエンシーの関係を学習できるようにする。
• 2次元スクリーン上で視聴中に深度を無視した状態で収集された、54本のRGBD動画と眼動測定データを含む新規データセット（DAViS）を活用する。
• 38本の動画で学習し、16本の未学習動画でテストする。性能評価には定量的指標（χ²およびAUC）と定性的な視覚的比較を併用する。
• 深度を入力に含めないベースライン（Rudoyら[38]の先行手法に深度を組み込んだもの）と比較し、深度の使用を入力から除外することでその貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの動画サリエンシー・モデルに深度情報を統合することで、深度を無視する手法と比較して、予測精度がどの程度向上するか？
• RQ2 RGB、深度、および前回のサリエンシー・マップを用いて、生成的CNNが連続する動画フレーム間の注視移動を効果的にモデル化できるか？
• RQ3 実世界の動画コンテンツにおいて、深度がサリエンシーに与える影響は何か？また、シーンの文脈（例：クローズアップ vs. 遠距離のオブジェクト）によってその影響は変化するか？
• RQ4 学習ベースのアプローチは、ヒューリスティクスや非学習ベースの深度統合手法と比較して、どの程度優れているか？
• RQ5 本手法は多様な動画コンテンツに対してどの程度信頼性があり一貫性があるか？また、分散と頑健性の観点から、ベースラインと比較してどうなるか？

主な発見

• 提案された深度に敏感な動画サリエンシー・モデルは、χ²およびAUC指標の両面で、最先端手法（Rudoyら[38]）に対して相対的に15%の性能向上を達成した。
• 本モデルの性能は、画像サリエンシー（GBVS[10]）および深度に敏感な画像サリエンシー（RGBD[35]）を含むすべてのベースラインと比較して、真値の注視マップに著しく近い。
• 他のすべての手法と比較して、テスト動画全体で標準偏差が低く、サリエンシー予測の信頼性と一貫性が高くなっていることを示している。
• 入力から深度を除去すると性能が顕著に低下するため、深度が正確なサリエンシー予測にとって重要な役割を果たしていることが確認された。
• 定性的な結果では、2人で会話する際の顔の間での注視の切り替えといった動的注視シフトを正確に捉えていることが示され、他の手法では正しくモデル化できていない。
• 本研究で導入されたDAViSデータセットは、54本のRGBD動画と、2次元表示環境下で収集された眼動測定データを備えており、今後の深度に敏感な動画サリエンシー分野の包括的ベンチマークを提供する。