[論文レビュー] Video Salient Object Detection via Adaptive Local-Global Refinement

Yi Tang, Yuanman Li+1 more|arXiv (Cornell University)|Apr 29, 2021

Visual Attention and Saliency Detection参考文献 24被引用数 4

ひとこと要約

本稿では、動画の顕著オブジェクト検出のための適応的局所-グローバル精錬ネットワーク（LGRN）を提案する。この手法は、専用の局所およびグローバル精錬モジュールを用いて、多段階の空間的および時間的特徴を精錬することで、特徴の統合を向上させる。グラフ畳み込みネットワーク（GCN）に基づく適応的重み付け機構を用いることで、冗長な特徴を抑制し、特徴の判別的相関を強調し、1フレームあたり0.04秒の実行時間で、公開ベンチマークにおいて最先端の性能を達成する。

ABSTRACT

Video salient object detection (VSOD) is an important task in many vision applications. Reliable VSOD requires to simultaneously exploit the information from both the spatial domain and the temporal domain. Most of the existing algorithms merely utilize simple fusion strategies, such as addition and concatenation, to merge the information from different domains. Despite their simplicity, such fusion strategies may introduce feature redundancy, and also fail to fully exploit the relationship between multi-level features extracted from both spatial and temporal domains. In this paper, we suggest an adaptive local-global refinement framework for VSOD. Different from previous approaches, we propose a local refinement architecture and a global one to refine the simply fused features with different scopes, which can fully explore the local dependence and the global dependence of multi-level features. In addition, to emphasize the effective information and suppress the useless one, an adaptive weighting mechanism is designed based on graph convolutional neural network (GCN). We show that our weighting methodology can further exploit the feature correlations, thus driving the network to learn more discriminative feature representation. Extensive experimental results on public video datasets demonstrate the superiority of our method over the existing ones.

研究の動機と目的

• 単純な統合戦略（例：加算、連結）の限界を是正すること（例：特徴の重複、相互ドメイン間相関の未活用）
• 局所およびグローバル受容 field の両レベルで統合された特徴を精錬することで、多段階特徴間の階層的依存関係を捉える特徴表現の向上
• グラフ畳み込みネットワーク（GCN）を用いて、動的かつ効果的な特徴を強調し、関係のない特徴を抑制する適応的重み付け機構の開発
• 効率的な推論速度を維持しながら、動画顕著性ベンチマークで優れた性能を達成すること
• アブレーションスタディおよび最先端手法との比較を通じて、提案モジュールの有効性を検証すること

提案手法

• 本手法は、動画フレームからの空間的および時間的特徴を抽出するために、二本のストリームを持つエンコーダ-デコーダアーキテクチャを採用する。
• 局所精錬モジュール（LRM）は、局所受容 field 内の特徴を精錬し、多段階特徴間の微細な空間的依存関係を捉えるように設計されている。
• グローバル精錬モジュール（GRM）は、全特徴マップにわたる特徴の集約を通じて、長距離のグローバル依存関係をモデル化する。
• 空間的および時間的特徴間の相関モデリングを強化するために、GCNに基づく適応的重み付け戦略が用いられ、異なる特徴タイプ間で動的アテンション重みを学習する。
• 境界精度の向上を図るため、結合損失関数（BCE + L1）を用いて学習を監視する。
• フィードバック接続を組み込むことで、高レベルの意味的情報を低レベルの層に再帰的に伝達し、特徴の精錬をガイドする。

実験結果

リサーチクエスチョン

• RQ1 局所およびグローバル依存関係を別々にモデル化する階層的精錬戦略は、動画顕著オブジェクト検出における特徴表現を向上させることができるか？
• RQ2 固定統合戦略と比較して、GCNに基づく適応的重み付け機構は、空間的・時間的特徴間のクロスドメイン相関をどれほど効果的に捉えられるか？
• RQ3 フィードバック特徴の統合は、ネットワークの特徴精錬能力および検出精度の向上に寄与するか？
• RQ4 既存の最先端動画顕著性モデルと比較して、本手法の性能および効率性はいかがなっているか？
• RQ5 各提案モジュール（LRM、GRM、GCN重み付け、フィードバック）の全体的性能に与える寄与度は何か？

主な発見

• 提案手法は、DAVISデータセットにおいて$F_{\beta}$スコア0.954、Sメジャー0.951、MAE 0.013を達成し、既存の最先端手法を上回る性能を示した。
• アブレーションスタディにより、LRM、GRM、GCNベース重み付け、フィードバック特徴の各モジュールが性能向上に顕著な寄与をしていることが確認された。
• GCNベースの適応的重み付け機構は、特徴相関モデリングを向上させ、全結合または重みなし戦略と比較して、より判別力のある表現を実現した。
• 本手法の実行時間は1フレームあたり0.04秒であり、MGA（0.07秒）やTEN（0.06秒）といった既存の動画顕著性モデルよりも高速で、画像ベースの最先端モデルと同等の性能を示した。
• バックボーン（ResNet50）は全体の推論時間の約1/3を占めており、局所およびグローバル精錬モジュールは構造的複雑性にもかかわらず、計算的に効率的であった。
• アブレーションスタディの結果、GCNベース重み付けまたはフィードバック特徴を削除すると性能が著しく低下し、これらがフレームワークにおいて重要な役割を果たしていることが確認された。