[論文レビュー] Two-Stream Convolutional Networks for Dynamic Saliency Prediction.

Çağdaş Bak, Aykut Erdem+1 more|arXiv (Cornell University)|Jul 16, 2016

Visual Attention and Saliency Detection参考文献 65被引用数 23

ひとこと要約

本稿では、動的サリエンシーを予測するために空間的および時間的特徴を活用する2ストリーム畳み込みニューラルネットワークを提案する。また、汎化性能を向上させるために、新しいデータ拡張技術を導入している。モデルはDIEMデータセットで最先端の性能を達成し、SALICONで転移学習を用いることで、光流に基づく動きの組み込みが静的サリエンシー予測を向上させることを示している。

ABSTRACT

In recent years, visual saliency estimation in images has attracted much attention in the computer vision community. However, predicting saliency in videos has received rela- tively little attention. Inspired by the recent success of deep convolutional neural networks based static saliency mod- els, in this work, we study two different two-stream convo- lutional networks for dynamic saliency prediction. To im- prove the generalization capability of our models, we also introduce a novel, empirically grounded data augmenta- tion technique for this task. We test our models on DIEM dataset and report superior results against the existing mod- els. Moreover, we perform transfer learning experiments on SALICON, a recently proposed static saliency dataset, by finetuning our models on the optical flows estimated from static images. Our experiments show that taking motion into account in this way can be helpful for static saliency estimation.

研究の動機と目的

• 静的画像のサリエンシーと比較して、動的動画におけるサリエンシー予測に関する研究が限られていることに対処する。
• 動的画像サリエンシーに特化した、経験的に裏付けられた新しいデータ拡張技術を用いて、モデルの汎化性能を向上させる。
• 静的画像から推定された光流を活用することで、動画ベースのモデルから静的画像サリエンシーに転移学習を実施する方法を検討する。
• 動きのモデリングが、動的および静的視覚タスクの両方におけるサリエンシー予測の効果を評価する。

提案手法

• フレームワークは2ストリーム畳み込みニューラルネットワークを採用している。1つのストリームはRGBフレームを処理して空間的特徴を抽出し、もう1つのストリームは光流を処理して時間的ダイナミクスを捉える。
• 動的画像サリエンシータスクに特化した、新しいデータ拡張戦略が導入され、モデルのロバスト性と汎化性能が向上する。
• モデルは、正解のサリエンシー付与付き動画クリップを用いてDIEMデータセット上でエンドツーエンドで訓練される。
• 転移学習は、事前に学習された2ストリームモデルをSALICONデータセット上で微調整することで実施され、静的画像から推定された光流を動きのストリームに入力とする。
• 空間的特徴と動きの特徴の統合により、外観的および動き駆動のサリエンシー・キューやを効果的に捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 2ストリーム畳み込みニューラルネットワークは、動的動画におけるサリエンシー予測に、空間的および時間的特徴を効果的にモデル化できるか？
• RQ2 提案されたデータ拡張技術は、動的画像サリエンシータスクにおけるモデルの汎化性能をどのように向上させるか？
• RQ3 静的画像から抽出した動き情報は、転移学習によって静的サリエンシー推定をどの程度向上させることができるか？
• RQ4 静的画像からの光流の組み込みは、SALICONのような静的サリエンシーベンチマークで性能向上をもたらすか？

主な発見

• 提案された2ストリームモデルは、既存の最先端モデルと比較してDIEMデータセットで優れた性能を達成した。
• 新しいデータ拡張技術は、特にデータが少ない状況下で、モデルの汎化性能を顕著に向上させた。
• 動画ベースの2ストリームモデルからSALICONデータセットへの転移学習により、静的サリエンシー予測の性能が向上した。
• 静的画像から得た光流による動き特徴の統合により、モデルの静的画像における注目領域の予測能力が向上した。