[論文レビュー] ATSal: An Attention Based Architecture for Saliency Prediction in 360 Videos

Yasser Dahou, Marouane Tliba+2 more|arXiv (Cornell University)|Nov 20, 2020

Visual Attention and Saliency Detection参考文献 43被引用数 8

ひとこと要約

ATSalは、360°ビデオのサリエンシー予測のための新規なデュアルストリームアテンション機構を提案する。グローバルな文脈特徴をアテンションモジュールで統合し、局所的なピクセルレベルのエキスパートモデルを組み合わせることで、空間的および時間的モデリングを向上させる。Salient360! および VR-EyeTracking データセットにおいて、すべての指標で最先端の性能を達成し、効率的な推論速度を維持している。

ABSTRACT

The spherical domain representation of 360 video/image presents many challenges related to the storage, processing, transmission and rendering of omnidirectional videos (ODV). Models of human visual attention can be used so that only a single viewport is rendered at a time, which is important when developing systems that allow users to explore ODV with head mounted displays (HMD). Accordingly, researchers have proposed various saliency models for 360 video/images. This paper proposes ATSal, a novel attention based (head-eye) saliency model for 360\degree videos. The attention mechanism explicitly encodes global static visual attention allowing expert models to focus on learning the saliency on local patches throughout consecutive frames. We compare the proposed approach to other state-of-the-art saliency models on two datasets: Salient360! and VR-EyeTracking. Experimental results on over 80 ODV videos (75K+ frames) show that the proposed method outperforms the existing state-of-the-art.

研究の動機と目的

• 深層学習を用いて360°ビデオにおける人間の頭部および眼球の注視点のパターンを予測する課題に対処すること。
• 球面ドメインにおけるグローバルな視覚的注視のモデリングを明示的に行い、サリエンシー予測を向上させること。
• 連続するフレームにおけるピクセルレベルの表現にエキスパートモデルを適用することで、局所的特徴の学習を強化すること。
• VRストリーミングなどのリアルタイム応用に適した計算効率の高いアーキテクチャを提供すること。
• 今後の研究を支援するため、VR-EyeTracking データセットの事前処理済み注視マップを公開すること。

提案手法

• モデルはデュアルストリートアーキテクチャを採用している。1本目のストリームは、受容 field を拡大した自己アテンション機構を用いてグローバル特徴を処理し、文脈的な空間情報を符号化する。
• 2本目のストリームはエキスパートモデルを用いて局所的画像ピクセルに注視度を学習し、ピクセル単位の乗算によって予測値を精査することで過剰推定を抑制する。
• 時間的特徴に対して指数移動平均（EMA）を適用し、動画フレーム間での動きのダイナミクスをモデリングする。
• アテンションモジュールはボトルネック層に挿入され、グローバルな文脈をすべての空間的位置に伝達することで、特徴表現を向上させる。
• ネットワークは静的360°画像で事前学習され、動画データで微調整されることで一般化性能が向上する。
• 最終的なサリエンシー地図は、アテンションで変調されたグローバル特徴とエキスパートベースの局所的予測を組み合わせることで生成される。

実験結果

リサーチクエスチョン

• RQ1 グローバルな視覚的文脈をモデリングするアテンション機構は、360°ビデオにおけるサリエンシー予測を改善できるか？
• RQ2 グローバルアテンションと局所的エキスパートモデルを組み合わせることで、360°ビデオサリエンシーのベンチマーク性能にどのような影響を与えるか？
• RQ3 提案されたアーキテクチャは、多様な360°ビデオコンテンツおよび注視パターンにどの程度一般化可能か？
• RQ4 リアルタイム応用を想定した場合、このモデルの推論速度は既存の360°サリエンシーモデルと比較してどの程度か？
• RQ5 EMAによる時間的ダイナミクスの統合は、サリエンシー予測の時間的整合性を向上させることができるか？

主な発見

• ATSalは、Salient360! および VR-EyeTracking データセットの両方において、AUC-J、NSS、EMD、MAE の5つの評価指標すべてで、競合モデルを上回る性能を示した。
• Salient360! データセットでは、特に動画シーケンスにおいて顕著な定量的優位性を示し、多様なシナリオにわたる頑健性を確認した。
• エキスパートストリームがなくても、高い性能を維持していることから、グローバルアテンション機構そのものの強力さが示された。
• VR-EyeTracking ベンチマークにおいて、ATSalはTwo-streamモデルの9倍以上高速であり、NVIDIA GTX 1080を用いた1フレームあたりの推論時間は0.230秒であった。
• 定性的な結果から、ATSalはより正確で包括的なサリエンシー地図を生成しており、真値分布に近く、エクアトリアルバイアスを回避している。
• アテンションモジュールとエキスパートモジュールの統合により、過剰推定が抑制された、より集中的かつ一貫性のあるサリエンシー領域が得られた。