[論文レビュー] ASOD60K: An Audio-Induced Salient Object Detection Dataset for Panoramic Videos

Yi Zhang|arXiv (Cornell University)|Jul 24, 2021

Visual Attention and Saliency Detection参考文献 86被引用数 5

ひとこと要約

本論文は、360°パノラマ動画における音声誘発顕著オブジェクト検出（SOD）のための、初めての大規模データセットであるASOD60Kを紹介する。このデータセットは、階層的で粗くから細かくまでのアノテーション（眼動作、バウンディングボックス、インスタンスマスク、幾何的歪みなどの属性を含む）を備えた4K解像度のフレームを含む。このデータセットにより、11の最先端モデルのベンチマークが可能となり、音声の情報が顕著性予測の一貫性を著しく向上させること、そして現在のモデルが複雑な属性や長距離スキャンパスモデリングに対して依然として困難を抱えていることが明らかになった。

ABSTRACT

Exploring to what humans pay attention in dynamic panoramic scenes is useful for many fundamental applications, including augmented reality (AR) in retail, AR-powered recruitment, and visual language navigation. With this goal in mind, we propose PV-SOD, a new task that aims to segment salient objects from panoramic videos. In contrast to existing fixation-/object-level saliency detection tasks, we focus on audio-induced salient object detection (SOD), where the salient objects are labeled with the guidance of audio-induced eye movements. To support this task, we collect the first large-scale dataset, named ASOD60K, which contains 4K-resolution video frames annotated with a six-level hierarchy, thus distinguishing itself with richness, diversity and quality. Specifically, each sequence is marked with both its super-/sub-class, with objects of each sub-class being further annotated with human eye fixations, bounding boxes, object-/instance-level masks, and associated attributes (e.g., geometrical distortion). These coarse-to-fine annotations enable detailed analysis for PV-SOD modelling, e.g., determining the major challenges for existing SOD models, and predicting scanpaths to study the long-term eye fixation behaviors of humans. We systematically benchmark 11 representative approaches on ASOD60K and derive several interesting findings. We hope this study could serve as a good starting point for advancing SOD research towards panoramic videos. The dataset and benchmark will be made publicly available at https://github.com/PanoAsh/ASOD60K.

研究の動機と目的

• 音声・視覚の両方の手がかりを統合した、パノラマ動画における顕著オブジェクト検出（SOD）のための大規模かつ高品質なデータセットが不足しているという問題に対処すること。
• 特に眼動作パターンを通じて、音声がインマーシブな360°シーンにおける人間の注意にどのように影響するかを調査すること。
• 豊富で多段階のアノテーションを備えたパノラマ動画データに対して、顕著オブジェクト検出モデルを評価するためのベンチマークを構築すること。
• 特に属性固有のパフォーマンスとスキャンパス予測に関して、現在のSODモデルがパノラマ動画に適用された際の主な課題を特定すること。
• 視覚言語ナビゲーション、没入型ゲーム、スマートリテールなど、AR/VRアプリケーションの発展を支援する基盤を提供すること。これは、動的でパノラマ的な環境における人間の注意をモデル化することで実現する。

提案手法

• 著者らは、ヘッドマウントディスプレイ（HMD）とHMD内蔵の眼動作トラッカーを用いて、自然な視聴状態下での被験者の眼動作を記録しながら、360°のシーンから60K枚の高解像度（4K）パノラマ動画フレームを収集した。
• 各動画シーケンスは、スーパークラスおよびサブクラスラベルを含む6段階の階層的カテゴリーシステムでアノテートされ、細分化された意味的理解を可能にした。
• 各フレームに対して、ヘッドムーブメント（HM）、眼動作、バウンディングボックス、オブジェクトレベルおよびインスタンスレベルのマスク、および幾何的歪み（GD）、隠蔽、モーショーブラーなどの属性が、粗くから細かくまでの段階で提供された。
• アノテーションプロセスでは、複数の専門家およびボランティアによる相互チェックが行われ、すべてのラベルの信頼性、正確性、一貫性を確保した。
• このデータセットを用いて、$S_{\alpha}$、$E_{\phi}^{\text{max}}$、$E_{\phi}^{\text{mean}}$、および$ olimits\mathcal{M}$という複数の指標で11の最先端SODモデルをベンチマークした。パフォーマンスは動画シーケンスごとおよび属性ごとに分析された。
• モデルのパフォーマンスは全体的および属性固有の観点から評価され、モデルの一般化能力と失敗モードに関するパラメータのギャップや洞察が明らかになった。

実験結果

リサーチクエスチョン

• RQ1 眼動作の一貫性を指標として、音声がパノラマ動画における人間の注意にどのように影響するか？
• RQ2 現在のSODモデルは、複雑なグローバルジオメトリと音声・視覚のダイナミクスを有するパノラマ動画データに対してどの程度一般化できるか？
• RQ3 特に幾何的歪みやモーショーブラーといった困難な属性下で、現在のSODモデルが示す主な失敗モードは何か？
• RQ4 提案されたASOD60Kデータセットは、インマーシブ環境における正確なスキャンパス予測と長期的な眼動作モデリングを支援できるか？
• RQ5 階層的な意味的カテゴリと細分化されたインスタンスレベルのアノテーションは、パノラマ動画におけるSODモデルのパフォーマンスと解釈可能性をどのように向上させるか？

主な発見

• ASOD60Kにおける全モデルの全体的な$S_{\alpha}$スコアは0.7未満であり、パノラマ動画SODが依然として挑戦的な未解決問題であることを示している。
• 音声の情報が含まれたモデルは、音声なしのモデルよりも被験者間での眼動作予測の一貫性が著しく高いことが示され、音声が強力な注意誘導要因であると考えられる。
• 幾何的歪み（GD）やモーショーブラーといった属性ではパフォーマンスが著しく低下し、一部のモデルでは$S_{\alpha}$が0.6未満にまで低下しており、現在のSOD手法にとっての主な課題が浮き彫りになった。
• 最もパフォーマンスの良いモデルは、テストセットで平均$E_{\phi}^{\text{mean}}$が0.749、$ olimits\mathcal{M}$が0.017を達成したが、それでも隠蔽や高歪みを伴う複雑なシーンでは失敗している。
• スキャンパス予測の長距離性に着目した分析から、動的で複雑なコンテンツを含むシーケンスでは$ olimits\mathcal{M}$の値が低く、モデルが長距離スキャンパスを正しく予測できないことが明らかになった。
• 属性別分析から、特にモーショーブラーや隠蔽下での顕著オブジェクト検出においてモデルが弱く、$S_{\alpha}$が一部のケースで0.5未満にまで低下していることが判明した。