[論文レビュー] What Do Deep Saliency Models Learn about Visual Attention?

Shi Chen, Ming Jiang+1 more|arXiv (Cornell University)|Oct 14, 2023

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文は、深層サリエンシー・モデルの内部特徴を解釈可能な意味的ベースに分解し、確率マップの重み付き組み合わせを通じてサリエンシー予測への寄与度を定量化することで、深層サリエンシー・モデルを解釈するための新規な解析フレームワークを提案する。この手法により、モデルが意味的要因に正負の重みをどのように割り当てるかが明らかになり、失敗パターンの特定や自閉症、感情、時間的ダイナミクスにおける人間の注視行動の分析が可能になる。また、最小限のアーキテクチャ変更で最先端の性能を維持する。

ABSTRACT

In recent years, deep saliency models have made significant progress in predicting human visual attention. However, the mechanisms behind their success remain largely unexplained due to the opaque nature of deep neural networks. In this paper, we present a novel analytic framework that sheds light on the implicit features learned by saliency models and provides principled interpretation and quantification of their contributions to saliency prediction. Our approach decomposes these implicit features into interpretable bases that are explicitly aligned with semantic attributes and reformulates saliency prediction as a weighted combination of probability maps connecting the bases and saliency. By applying our framework, we conduct extensive analyses from various perspectives, including the positive and negative weights of semantics, the impact of training data and architectural designs, the progressive influences of fine-tuning, and common failure patterns of state-of-the-art deep saliency models. Additionally, we demonstrate the effectiveness of our framework by exploring visual attention characteristics in various application scenarios, such as the atypical attention of people with autism spectrum disorder, attention to emotion-eliciting stimuli, and attention evolution over time. Our code is publicly available at \url{https://github.com/szzexpoi/saliency_analysis}.

研究の動機と目的

• 深層サリエンシー・モデルが学習する暗黙の特徴と、それらが人間の視覚的注視行動を予測する役割を理解すること。
• 意味的属性がサリエンシー予測に与える寄与度を定量化する、原理的かつ解釈可能なフレームワークを開発すること。
• 学習データ、モデルアーキテクチャ、ファインチューニングが、サリエンシー・モデルにおける意味的重みに与える影響を調査すること。
• 自閉症スペクトラム障害、感情誘発刺激、時間的経過に伴う注視行動の変化といった特殊な文脈における人間の注視行動の特徴を分析すること。
• 最先端のサリエンシー・モデルに共通する失敗パターンを特定し、包括的な特徴統合を実現するための改善策を提案すること。

提案手法

• フレームワークは、Visual Genomeデータセットからの細分化された属性に一致する、学習可能で解釈可能な意味的ベースに深層サリエンシー・モデルの内部特徴を分解する。
• サリエンシー予測を、各マップが特定の意味的ベースの存在を示す確率マップの重み付き組み合わせとして再定式化する。
• 意味的関連性は、学習されたベースと意味的属性との間の整合性を測定することで定量化され、正負の重みの解釈が可能になる。
• 性能が元のモデルと同等になるよう、最後の2層に限定した最小限のアーキテクチャ変更を導入し、複数のベンチマークで性能を維持する。
• 各意味的ベースがサリエンシーに与える影響を定量化するために確率的手法を用い、モデル挙動の体系的分析を可能にする。
• SALICON、DINet、TranSalNetなどのモデルにおける推論プロセス、ファインチューニングのダイナミクス、失敗事例の分析に、このフレームワークを適用する。

Figure 1: Illustration of our method. It factorizes implicit features into trainable bases, and interprets the meanings of bases by aligning them with diverse semantics. Each basis can be interpreted as a weighted combination of semantics ( e.g., face, female, and happy). By reformulating the salien

実験結果

リサーチクエスチョン

• RQ1 深層サリエンシー・モデルは、正負の重みをどのように用いて、注視対象となる意味的要因とそうでない要因を区別するか？
• RQ2 学習データとモデルアーキテクチャは、サリエンシー予測における学習された意味的重みにどのように影響を与えるか？
• RQ3 ファインチューニングは、サリエンシー・モデルにおける意味的属性への重み割り当てにどのように影響するか？
• RQ4 深層サリエンシー・モデルは、自閉症スペクトラム障害や感情誘発刺激における洗練された人間の注視行動パターンを捉えることができるか？
• RQ5 最先端のサリエンシー・モデルに共通する失敗パターンは何か？人間の注視行動とのギャップを埋めるために何が欠けているか？

主な発見

• フレームワークは競争力のある性能を維持し、OSIEデータセットでNSS 2.91、CC 0.64を達成し、SALICON や SAM などの最先端モデルと同等またはそれを上回る性能を示した。
• 深層サリエンシー・モデルの成功は、主に正確な特徴検出と、意味的属性に正負の重みを割り当てる能力に起因する。
• 学習データとモデルアーキテクチャは、意味的重みの分布と大きさに顕著な影響を与え、ファインチューニングにより非注視対象の意味的要因に対しても重みをより適切に割り当てられるようになった。
• 本手法は、SALICON や DINet、TranSalNet などのモデルにおける共通の失敗パターンを効果的に同定でき、特に複雑または特異な注視状況の処理において顕著であった。
• フレームワークにより、自閉症における特異的注視行動、感情誘発刺激、時間的経過に伴う注視行動の変化といった特殊な文脈における人間の注視行動の分析が意味的に可能になった。
• 本研究により、中程度および低レベルのヒントを構造的な高レベルの意味的特徴と統合することが、困難なサリエンシー予測シナリオにおける性能向上に不可欠であることが明らかになった。

Figure 2: Important semantics learned by the deep saliency model and their weights. We visualize the top-60 semantics with significantly positive or negative weights.