[論文レビュー] Motion Guided Attention for Video Salient Object Detection

Haofeng Li, Guanqi Chen+2 more|arXiv (Cornell University)|Sep 16, 2019

Visual Attention and Saliency Detection参考文献 49被引用数 17

ひとこと要約

本論文は、二重ブランチアーキテクチャを用いて動きの手がかりを明示的にモデル化する動き誘導型アテンションネットワークを、動画顕著オブジェクト検出のためのものとして提案している。一方のブランチは静的フレームにおける顕著オブジェクト検出を、もう一方のブランチは光流画像における動き顕著性の検出を担当する。本手法は、動き顕著性を用いて外見特徴を強化する、新しい動き誘導型アテンションモジュールを用い、DAVISおよびFBMSベンチマークで最先端の性能を達成した。DAVISでは0.022 MAEおよび0.902 maxF、FBMSでは0.027 MAEおよび0.910 maxFを達成した。

ABSTRACT

Video salient object detection aims at discovering the most visually distinctive objects in a video. How to effectively take object motion into consideration during video salient object detection is a critical issue. Existing state-of-the-art methods either do not explicitly model and harvest motion cues or ignore spatial contexts within optical flow images. In this paper, we develop a multi-task motion guided video salient object detection network, which learns to accomplish two sub-tasks using two sub-networks, one sub-network for salient object detection in still images and the other for motion saliency detection in optical flow images. We further introduce a series of novel motion guided attention modules, which utilize the motion saliency sub-network to attend and enhance the sub-network for still images. These two sub-networks learn to adapt to each other by end-to-end training. Experimental results demonstrate that the proposed method significantly outperforms existing state-of-the-art algorithms on a wide range of benchmarks. We hope our simple and effective approach will serve as a solid baseline and help ease future research in video salient object detection. Code and models will be made available.

研究の動機と目的

• 既存の手法でしばしば無視される、動画顕著オブジェクト検出における物体の動きを効果的に統合するという重要な課題に取り組むこと。
• 光流画像からの動き顕著性を明示的にモデル化することで、視覚的注目における動きを重要な手がかりとして活用し、顕著性検出を向上させること。
• 外見と動きのブランチを別々に事前学習し、その後エンドツーエンドの訓練を行うことで、特徴学習を強化するマルチタスク学習フレームワークを開発すること。
• 動き顕著性を用いて動的に外見特徴に注目することができる、新しい動き誘導型アテンションモジュールを設計し、特徴表現を向上させること。
• 長距離記憶に基づくモデルを必要とせず、複雑な再帰構造を用いずに、優れた単純なベースラインを確立すること。

提案手法

• 本手法は二重ブランチネットワークを採用：一方のブランチはRGBフレームを処理して静的画像の顕著オブジェクト検出を実行し、もう一方のブランチは光流画像を処理して動き顕著性検出を実行する。
• 動き誘導型アテンションモジュールを導入し、動きブランチからの顕著性マップを用いて、外見ブランチへの注目と特徴強化を実現する。空間的およびチャネルワイドのアテンション機構を用いる。
• アテンションモジュールは残差学習を統合されており、長距離時系列記憶を必要とせず、効率的な特徴統合を可能にする軽量な設計である。
• 外見ブランチは静的画像SODで事前学習され、動きブランチは動き顕著性検出で事前学習された後、共同最適化を用いてエンドツーエンドで訓練される。
• 複雑な再帰ユニット（例：ConvLSTM）を必要とせず、直前のフレームからの短距離コンテキストのみを用いる。
• 連結、要素ごとの乗算、加算といった統合戦略を評価し、最高の性能を達成したのはMGA-tmc（エンコーダー）およびMGA-m（デコーダー）モジュールであった。

実験結果

リサーチクエスチョン

• RQ1 光流画像における動き顕著性の明示的モデリングは、外見ベースの手法を上回る動画顕著オブジェクト検出を可能にするか？
• RQ2 アテンション機構を用いて、動き手がかりを外見ベースの顕著性検出に効果的に統合できるか？
• RQ3 エンドツーエンド訓練の前に、外見ブランチと動きブランチを別々に事前学習することで、初期訓練から直接最適化する手法よりも高い性能が得られるか？
• RQ4 空間的、チャネル的、あるいは両方の組み合わせのアテンションモジュール設計のうち、どれが動き誘導型特徴強化において最高の性能を発揮するか？
• RQ5 短距離時系列コンテキストのみを用いる、軽量で再帰的でないアーキテクチャは、長距離記憶に基づく既存のモデルを上回る性能を発揮できるか？

主な発見

• 提案手法はDAVIS 2017ベンチマークで0.022 MAE、0.913 S-m、0.902 maxFを達成し、以前の最先端手法を上回る最先端の性能を発揮した。
• FBMSベンチマークでは0.027 MAE、0.907 S-m、0.910 maxFを達成し、多様な動画データセットにわたる優れた一般化性能を示した。
• マルチタスク訓練方式（Tma）は、単一タスクの事前学習および初期からエンドツーエンドで訓練する手法を上回り、DAVISではmaxFが1.7%、FBMSでは1.9%向上した。
• エンコーダーにおけるMGA-tmcモジュールとデコーダーにおけるMGA-mモジュールが最高の性能を発揮し、FBMSでは要素ごとの加算を0.8%上回り、DAVISではS-mが0.9%向上した。
• アブレーションスタディにより、動き誘導型アテンションモジュールが、連結や加算といった単純な統合戦略を著しく上回ることが確認された。
• 複数の顕著オブジェクトが存在する動画においても、動き手がかりが判別性が低い状況でも、外見と動きの特徴を効果的にバランスさせることで、頑健な性能を示した。