[論文レビュー] Saliency Prediction in the Deep Learning Era: Successes, Limitations, and Future Challenges

Ali Borji|arXiv (Cornell University)|Oct 8, 2018

Visual Attention and Saliency Detection参考文献 143被引用数 24

ひとこと要約

この論文は、深層学習に基づく視覚的注目領域モデルをレビューし、その成功、限界、および今後の課題を分析している。大規模な画像および動画ベンチマークを用いて、静的および動的注目領域モデルの広範な評価が行われ、主な失敗モード、評価の落とし穴、およびより良いデータ、マルチモーダル入力、洗練された評価指標を通じた改善の機会が同定された。一部のモデルでは人間水準の正確性に近づいているが、依然として課題が残っている。

ABSTRACT

Visual saliency models have enjoyed a big leap in performance in recent years, thanks to advances in deep learning and large scale annotated data. Despite enormous effort and huge breakthroughs, however, models still fall short in reaching human-level accuracy. In this work, I explore the landscape of the field emphasizing on new deep saliency models, benchmarks, and datasets. A large number of image and video saliency models are reviewed and compared over two image benchmarks and two large scale video datasets. Further, I identify factors that contribute to the gap between models and humans and discuss remaining issues that need to be addressed to build the next generation of more powerful saliency models. Some specific questions that are addressed include: in what ways current models fail, how to remedy them, what can be learned from cognitive studies of attention, how explicit saliency judgments relate to fixations, how to conduct fair model comparison, and what are the emerging applications of saliency models.

研究の動機と目的

• 最近の深層学習の進展および大規模なアノテート済みデータの文脈において、現在の深層視覚的注目領域モデルの状態を評価すること。
• 標準ベンチマークで高い性能を示しても、モデルの予測と人間の注視パターンとの間には依然として根強いギャップが存在することを特定すること。
• 既存の注目領域評価指標の有効性を評価し、より細分化されたモデル比較に向けた改善を提案すること。
• マルチモーダルデータ（例：音声、注視方向）および改善されたデータセットが、モデルの一般化性能を向上させる可能性を調査すること。
• 解釈可能性、評価、応用分野におけるオープンチャレンジを特定することで、今後の研究を導くこと。

提案手法

• 2つの画像ベンチマークおよび2つの大規模な動画データセットを用いた、多数の深層注目領域モデルの体系的レビューと定量的比較。
• AUC、NSS、SIM、KL、IGなどの複数の評価スコアを用いて、モデル性能を評価し、微細な差を検出する。
• 注視のメカニズムを調べるため、ポップアウトアレイやオッドボールシーンなどの心理物理学的刺激を用いて、モデルの失敗を分析する。
• 中心バイアスおよびマップスムージングが評価指標に与える影響を調査し、感度を低減するための調整を提案する。
• 注視方向、音声、キャプションデータを注目領域モデルに統合することで、マルチタスクおよびマルチモーダル学習を検討する。
• 深層注目領域モデルが学習する表現と、物体認識ネットワーク内の表現を比較することで、注目領域固有の特徴学習を理解する。

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマークで高い性能を示しても、現在の深層注目領域モデルは、人間の注視を予測できていない点はどのような点か？
• RQ2 トップパフォーマンスのモデルをより正確に区別し、微細な性能差を検出できるように、評価手順をどのように洗練できるか？
• RQ3 明示的な注目領域判断（例：クリックによる評価）は、実際の眼動画とどの程度一致するのか？これにより、モデル学習にどのように活かせるか？
• RQ4 音声、注視方向、キャプションなどのマルチモーダルデータは、視覚入力に加えて注目領域予測をどのように向上させるか？
• RQ5 注視領域モデルをどのようにして解釈可能にし、注意の認知的原則とよりよく一致させられるか？

主な発見

• 深層注目領域モデルは、標準ベンチマークにおいて人間の観察者間一致度に非常に近い性能を達成しており、一部のモデルは人間の注視マップとほとんど区別できない。
• 高い性能にもかかわらず、特に意味的または文脈的キューによって注意が引かれるような複雑または曖昧なシーンでは、人間よりも性能が劣る。
• AUC、NSS、SIMといった評価指標が最も代表的であるが、マップスムージングや中心バイアスへの感受性は、公正な比較において依然として深刻な問題である。
• 注視方向や音声の手がかりを組み込むことで、動画注目領域予測の性能が顕著に向上し、タスクに適した事前知識の価値が示された。
• マルチラベルおよびマルチモーダルデータセット（例：注視点、キャプション、VQAアノテーションを統合）は、モデルの一般化性能を向上させ、注意メカニズムに関する洞察を明らかにするのに有効である。
• 深層ネットワーク内での注目領域の生成プロセスの解釈可能性に欠けている点が多く、異なるネットワークヘッドにおける特徴表現の理解は、依然として主要な未解決課題のままである。