[論文レビュー] Deep Learning for Saliency Prediction in Natural Video

Souad Chaabouni, Jenny Benois‐Pineau+2 more|arXiv (Cornell University)|Apr 27, 2016

Visual Attention and Saliency Detection参考文献 28被引用数 33

ひとこと要約

本稿では、RGB、光-flow、コントラスト特徴を統合することで、CaffeNetに基づく深層畳み込みニューラルネットワーク（CNN）を提案し、自然動画における注目領域を予測する。IRCCYNデータセットでは89.51%の精度を達成し、HOLLYWOOD2ではAUCが16%向上した。また、最適化されたデータ選択により計算コストが12倍低減された。

ABSTRACT

The purpose of this paper is the detection of salient areas in natural video by using the new deep learning techniques. Salient patches in video frames are predicted first. Then the predicted visual fixation maps are built upon them. We design the deep architecture on the basis of CaffeNet implemented with Caffe toolkit. We show that changing the way of data selection for optimisation of network parameters, we can save computation cost up to 12 times. We extend deep learning approaches for saliency prediction in still images with RGB values to specificity of video using the sensitivity of the human visual system to residual motion. Furthermore, we complete primary colour pixel values by contrast features proposed in classical visual attention prediction models. The experiments are conducted on two publicly available datasets. The first is IRCCYN video database containing 31 videos with an overall amount of 7300 frames and eye fixations of 37 subjects. The second one is HOLLYWOOD2 provided 2517 movie clips with the eye fixations of 19 subjects. On IRCYYN dataset, the accuracy obtained is of 89.51%. On HOLLYWOOD2 dataset, results in prediction of saliency of patches show the improvement up to 2% with regard to RGB use only. The resulting accuracy of 76, 6% is obtained. The AUC metric in comparison of predicted saliency maps with visual fixation maps shows the increase up to 16% on a sample of video clips from this dataset.

研究の動機と目的

• 自然動画におけるサリエンシー予測のためのディープラーニングフレームワークの開発。静止画サリエンシー・モデルを拡張し、時間的ダイナミクスを扱えるようにする。
• 人間の視覚系（HVS）の特徴を反映させるために、動きの感度とコントラスト特徴を組み込むことで、サリエンシー予測の精度を向上させる。
• 最適化されたデータ選択戦略を用いることで、サリエンシー予測のための深層CNNのトレーニングにおける計算コストを低減する。
• 眼動-trackingデータを備えた公開動画データセット上でモデルを評価し、最先端手法と比較する。
• 動画サリエンシー予測におけるボトムアップ（動き、コントラスト）とトップダウン（意味的理解）の注意メカニズムの組み合わせ効果を調査する。

提案手法

• RGB、光-flow、コントラスト特徴を入力チャネルとして用い、CaffeNetアーキテクチャを動画サリエンシー予測に適応する。
• トレーニングイテレーションを12倍削減しながらも高い精度を維持できるデータ選択戦略を導入し、トレーニングセット上で交差検証により検証した。
• 古典的サリエンシー・モデルからのコントラスト特徴を追加することで、明るさおよび色の差に敏感な入力特徴を強化する。
• 人間被験者の眼動-trackingデータを正例として、画像パッチをサリエンティ（注目）またはノンサリエンティ（非注目）に分類する教師あり学習を実施する。
• フレーム全体のサリエンシー予測を可能にするために、複数フレームにわたる予測されたサリエンティパッチを統合して密なサリエンシー地図を構築する。
• テストクリップにおけるAUCおよび精度指標の評価に、マルチスケールアプローチを用いる。

実験結果

リサーチクエスチョン

• RQ1 動きとコントラスト特徴を統合することで、深層CNNが自然動画における注目領域を効果的に予測できるか？
• RQ2 RGBのみのモデルと比較して、光-flowおよびコントラスト特徴を含めることで、サリエンシー予測がどの程度向上するか？
• RQ3 最適化されたデータ選択が、予測精度を損なわせることなく、動画サリエンシー予測モデルのトレーニング時間をどの程度短縮できるか？
• RQ4 ボトムアップ（動き、コントラスト）とトップダウン（意味的理解）の注意メカニズムが、動画サリエンシー予測においてどのように相互作用するか？
• RQ5 眼動-trackingアノテーションが付与された公開動画データセットにおいて、提案モデルは最先端手法に対してどの程度の性能向上を達成するか？

主な発見

• 提案モデルはIRCCYNデータセットで89.51%の精度を達成し、ベースラインのRGBのみのモデルを上回った。
• HOLLYWOOD2データセットでは、RGBのみの入力と比較して、サリエンティパッチ予測の精度が最大2%向上した。
• HOLLYWOOD2の一部のクリップに対して、予測されたサリエンシー地図のAUC指標が、ベースラインモデルと比較して最大16%向上した。
• コントラスト特徴の追加により、クリップ単位の評価でSignatureSalモデルに対して平均0.01560の向上、Seoモデルに対して0.15862の向上が得られた。
• 最適化されたデータ選択戦略により、計算コストが最大12倍低減され、精度の損失を最小限に抑えつつ、収束が著しく速くなった。
• HOLLYWOOD2テストセットの12クリップ中6クリップで、参照モデルを体系的に上回った。これは、一貫した優位性を示している。