[論文レビュー] Saliency Prediction in the Deep Learning Era: An Empirical Investigation.

Ali Borji|arXiv (Cornell University)|Oct 8, 2018

Visual Attention and Saliency Detection被引用数 46

ひとこと要約

この論文は、深層学習に基づく視覚的注目領域モデルの包括的な実験的調査を実施し、複数の画像および動画ベンチマークにおいてその性能を評価している。モデルの予測と人間の注目行動との間の持続的な乖離を特定し、失敗モードを分析し、次世代の注目領域モデルにおける主要な課題と今後の方向性を提示している。

ABSTRACT

Visual saliency models have enjoyed a big leap in performance in recent years, thanks to advances in deep learning and large scale annotated data. Despite enormous effort and huge breakthroughs, however, models still fall short in reaching human-level accuracy. In this work, I explore the landscape of the field emphasizing on new deep saliency models, benchmarks, and datasets. A large number of image and video saliency models are reviewed and compared over two image benchmarks and two large scale video datasets. Further, I identify factors that contribute to the gap between models and humans and discuss remaining issues that need to be addressed to build the next generation of more powerful saliency models. Some specific questions that are addressed include: in what ways current models fail, how to remedy them, what can be learned from cognitive studies of attention, how explicit saliency judgments relate to fixations, how to conduct fair model comparison, and what are the emerging applications of saliency models.

研究の動機と目的

• 標準化されたベンチマークを用いて、深層学習に基づく視覚的注目領域モデルの現状を評価すること。
• 既存のモデルが人間の視覚的注目行動を予測する際に示す体系的な失敗を同定すること。
• 明示的な注目領域判断と実際の眼動かしデータとの関係を調査すること。
• 画像および動画データセットにおける注目領域モデルの公平な比較プロトコルを確立すること。
• 注目領域モデリングにおける未解決の課題と新たな応用分野を強調すること。

提案手法

• 本研究は、2つの画像ベンチマークおよび2つの大規模な動画データセットにおいて、多数の最先端の深層注目領域モデルをレビューおよび比較している。
• 公平で再現可能であることを保証するため、標準化された評価指標を採用している。
• 認知科学の知見を活用して、モデルの予測と人間の注視パターンとの乖離を解釈している。
• 多様で大規模なアノテーション付きデータセットを用いて、画像および動画の注目領域モデルを評価している。
• モデルの妥当性を評価するために、明示的な注目領域アノテーションと眼動かしの固定点データとの整合性を調査している。
• モデルの一般化および耐性に関する繰り返し発生する弱みを特定するため、体系的な失敗分析を実施している。

実験結果

リサーチクエスチョン

• RQ1 現在の深層注目領域モデルは、どのようにして人間の注視パターンを正確に予測できないのか？
• RQ2 明示的な注目領域判断は、実際の人間の眼動かしや固定点とどのように関係しているのか？
• RQ3 深層学習モデルと人間観測者との間の性能格差を生じさせる要因は何なのか？
• RQ4 多様なデータセットおよび評価プロトコルを跨いで、モデル比較をどのように公平かつ意味のあるものにできるか？
• RQ5 注意の認知科学からの知見は、より人間と整合性を持つ注目領域モデルの設計にどのように寄与できるか？

主な発見

• 顕著な進展にもかかわらず、深層注目領域モデルは依然として人間レベルの正確性に達していない。
• 特に動画環境において、複雑なシーン、隠蔽、動的コンテンツの処理において、モデルは体系的な失敗を示している。
• 明示的な注目領域判断と固定点データには顕著な乖離が見られ、すべての注目領域アノテーションが注意を的確に捉えているわけではないことが示唆される。
• 評価プロトコルの不一致およびデータセットバイアスのため、モデル比較は困難である。
• 認知科学の知見から、人間の注意メカニズムには上位互換と下位互換の統合が関与しており、現行のモデルはしばしばこれを効果的に模倣できていないことが明らかになった。
• 注目領域モデルの新たな応用分野は、視覚的アナリティクス、ロボット工学、ヒューマンコンピュータインタラクションをカバーしており、実用的関連性が高まっている。