[論文レビュー] Spatio-Temporal Saliency Networks for Dynamic Saliency Prediction

Çağdaş Bak, Aysun Kocak+2 more|arXiv (Cornell University)|Jul 16, 2016

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、空間的および時間的特徴を統合的にモデル化することで、動的サリエンシーを予測するための二本のストリームで構成される畳み込みニューラルネットワークアーキテクチャ（STSConvNet）を提案する。エンドツーエンド学習により要素同士の平均化および畳み込み型融合戦略を用い、DIEMおよびUCF-Sportsデータセットで最先端の性能を達成した。さらに、静止画からのオプティカルフローを組み込むことで、静的サリエンシー予測の性能も向上させた。

ABSTRACT

Computational saliency models for still images have gained significant popularity in recent years. Saliency prediction from videos, on the other hand, has received relatively little interest from the community. Motivated by this, in this work, we study the use of deep learning for dynamic saliency prediction and propose the so-called spatio-temporal saliency networks. The key to our models is the architecture of two-stream networks where we investigate different fusion mechanisms to integrate spatial and temporal information. We evaluate our models on the DIEM and UCF-Sports datasets and present highly competitive results against the existing state-of-the-art models. We also carry out some experiments on a number of still images from the MIT300 dataset by exploiting the optical flow maps predicted from these images. Our results show that considering inherent motion information in this way can be helpful for static saliency estimation.

研究の動機と目的

• 動画における空間的および時間的情報を効果的に統合できる深層学習ベースの動的サリエンシー・モデルが不足しているという問題に取り組む。
• 外見特徴と運動特徴を統合的に処理する人間の視覚経路を模倣した二本のストリームCNNアーキテクチャを構築する。
• 標準的な動的サリエンシーベンチマーク（DIEMおよびUCF-Sports）上で提案モデルの性能を評価し、既存の最先端手法と比較する。
• 静止画から抽出したオプティカルフローからの運動情報が、静的サリエンシー予測を向上させるかどうかを調査する。
• 推定された運動情報を活用することで、動画データを超えた一般化能力を示すために、静止画への応用を検証する。

提案手法

• モデルは二本のストリームCNNアーキテクチャを採用：一方のストリームはRGBフレームを処理して空間的特徴を抽出し、もう一方はオプティカルフロー地図を処理して時間的ダイナミクスを捉える。
• エンドツーエンドで学習可能な形で二本のストリームの特徴を統合するため、要素同士の平均化、マックス統合、畳み込み型統合の3つの統合戦略を検討した。
• 教師ありサリエンシー地図に加え、低解像度の動画フレームおよびサリエンシー地図を用いた新しいデータ拡張技術を組み合わせて学習を実施した。
• 静止画実験では、事前学習済みの深層オプティカルフローモデルを用いて静止画からオプティカルフローを推定し、その運動マップをSTSConvNetフレームワーク内でRGB入力と統合した。
• 損失関数は標準的なバックプロパゲーションを用いてエンドツーエンドで最適化され、AUC、CC、NSSといった標準指標を用いて性能を評価した。
• DIEMおよびUCF-Sportsデータセットで微調整を行い、アブレーションスタディにより各統合戦略の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 二本のストリームで構成される深層学習アーキテクチャは、動画における空間的および時間的特徴を効果的に統合し、動的サリエンシー予測に適しているか？
• RQ2 要素同士の平均化、マックス統合、畳み込み型統合のうち、どれが空間的および時間的特徴の統合において最も優れた性能を示すか？
• RQ3 オプティカルフロー地図から抽出した運動情報は、静止画における静的サリエンシー予測を向上させるか？
• RQ4 提案されたSTSConvNetモデルは、ベンチマークデータセット上で既存の最先端動的サリエンシー・モデルと比較して優れているか？
• RQ5 モデルは動画データを超えて、内在的な運動情報を利用することで、静止画におけるサリエンシー予測の一般化能力を示せるか？

主な発見

• STSConvNetモデルは、AUC、CC、NSSといった複数の評価指標において、DIEMおよびUCF-Sportsデータセットで既存のすべての最先端動的サリエンシー・モデルを上回った。
• テストされた3つの統合機構の中で、畳み込み型統合戦略が最も優れた性能を示し、空間的および時間的特徴の統合における有効性を裏付けた。
• DIEMデータセットでは、最近提案されたDWSモデルと比較して、すべての評価指標でSTSConvNet*が優れた結果を達成した。
• 複雑なシーンにおけるランナー、ウェイトリフター、移動中の人物などの顕著な領域を効果的に局所化でき、定性的な比較でもベースラインモデルを上回った。
• MIT300データセットの静止画に適用した結果、オプティカルフロー入力を用いたモデルは、最先端の静的サリエンシー・モデルよりも正確なサリエンシー地図を生成し、特に運動から推定される顕著領域を捉える点で優れた性能を示した。
• 低解像度データ拡張の使用は、モデル性能を顕著に向上させたことから、データが限られる状況においても有効であることが示された。