[論文レビュー] End-to-end Convolutional Network for Saliency Prediction

Junting Pan, Xavier Giró-i-Nieto|arXiv (Cornell University)|Jul 6, 2015

Visual Attention and Saliency Detection参考文献 7被引用数 17

ひとこと要約

本論文では、ユークリッド損失関数を用いて連続的なサリエンシーマップへ直接回帰するエンドツーエンドの畳み込みニューラルネットワーク、JuntingNetを提案する。大規模なデータセット（iSUNおよびSALICON）で訓練された本手法は、最先端の性能を達成し、LSUN 2015チャレンジにおいてすべての指標で他手法を大きく上回り、優勝を達成した。

ABSTRACT

The prediction of saliency areas in images has been traditionally addressed with hand crafted features based on neuroscience principles. This paper however addresses the problem with a completely data-driven approach by training a convolutional network. The learning process is formulated as a minimization of a loss function that measures the Euclidean distance of the predicted saliency map with the provided ground truth. The recent publication of large datasets of saliency prediction has provided enough data to train a not very deep architecture which is both fast and accurate. The convolutional network in this paper, named JuntingNet, won the LSUN 2015 challenge on saliency prediction with a superior performance in all considered metrics.

研究の動機と目的

• 手作業で特徴を設計しない、完全にデータ駆動型のエンドツーエンド畳み込みネットワークを、サリエンシーマップ予測のために開発すること。
• 分類ではなく回帰問題としてサリエンシーマップの空間的整合性をモデル化すること。
• 大規模なアノテート済みデータセット（iSUNおよびSALICON）を活用して、過学習を回避する浅いが効果的なアーキテクチャを訓練すること。
• 特に類似度、CC、AUC、Judd AUCといったベンチマーク指標において、優れた性能を達成すること。
• 今後の研究や応用のための公開可能で高性能なモデルを提供すること。

提案手法

• ネットワークであるJuntingNetは、浅いアーキテクチャを採用し、5層構成（3層の2次元畳み込み層と2層の全結合層（1×1畳み込みとみなす））。
• 入力画像は、過学習のリスクと計算負荷を軽減するため、96×96×3にリサイズされる。
• 予測されたサリエンシーマップと正解マップの間のL2（ユークリッド）損失を最小化することで、エンドツーエンドで学習が行われる。
• 最終的なサリエンシーマップ予測を滑らかにするために、後処理としてガウスフィルタが適用される。
• 学習はTheanoを用い、GTX 980 GPU上で実行され、1,000エポック、ベース学習率0.001（最終的に0.0001に減衰）で実施される。
• ネットワークは、iSUN（6,000枚）およびSALICON（10,000枚）のデータセットごとに別々に訓練される。

実験結果

リサーチクエスチョン

• RQ1 直接回帰による学習を経た浅いエンドツーエンド畳み込みネットワークは、従来の手作業特徴を用いたサリエンシーモデルを上回ることができるか？
• RQ2 大規模なアノテート済みサリエンシーデータセットを用いたデータ駆動型アプローチは、分類タスクからの転移学習なしに優れた性能を達成できるか？
• RQ3 構造の単純さ（少ない層数）が、サリエンシーマップ予測において高い精度を維持しつつ、過学習をどれほど防げるか？
• RQ4 エンドツーエンド回帰モデルの性能は、多様なサリエンシーデータ評価指標（例：CC、AUC、Judd AUC）においてどのように比較されるか？
• RQ5 1つの統一されたアーキテクチャは、眼動測定とクリックベースのアノテーションという異なるサリエンシー評価パラダイムに一般化できるか？

主な発見

• JuntingNetは、LSUN 2015チャレンジにおいて、iSUNおよびSALICONの両データセットで、すべての評価指標で最高スコアを記録し、優勝を達成した。
• iSUNデータセットでは、類似度0.6833、CC 0.8230、AUCシャッフル0.6650、AUC Borji 0.8463、AUC Judd 0.8693を達成した。
• SALICONデータセットでは、類似度0.5198、CC 0.5957、AUCシャッフル0.6698、AUC Borji 0.8291、AUC Judd 0.8364を達成した。
• GBVS、Itti、BMSおよび他の最先端手法を大きく上回る性能を示した。
• 学習プロセスは1データセットあたり5〜7時間で、1枚あたりの推論はたったの200 msで完了し、高い効率性を示した。
• 結果から、サリエンシーマップに直接学習させる浅いエンドツーエンドCNNが、分類タスクからの事前学習特徴に依存せずに最先端の性能を達成できることを示した。