[論文レビュー] Human vs Machine Attention in Neural Networks: A Comparative Study.

Qiuxia Lai, Wenguan Wang+4 more|arXiv (Cornell University)|Jun 20, 2019

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

本研究は、画像分類、物体検出、画像キャプション生成の3つのコンピュータビジョンタスクにおいて、実際の人間の注視データと多様なアーキテクチャを用いて、深層ニューラルネットワークにおける人間の視覚的注意と人工的注意を体系的に比較する。人工的注意を人間の注意に合わせることで、モデルの性能と解釈可能性が向上することが判明し、とくに高レベルのビジョンタスクにおいて顕著である。

ABSTRACT

Human visual system can selectively attend to parts of a scene for quick perception, a biological mechanism known as Human attention. Inspired by this, recent deep learning models encode attention mechanisms to focus on the most task-relevant parts of the input signal for further processing, which is called Machine/Neural/Artificial attention. Understanding the relation between human and machine attention is important for interpreting and designing neural networks. Many works claim that the attention mechanism offers an extra dimension of interpretability by explaining where the neural networks look. However, recent studies demonstrate that artificial attention maps do not always coincide with common intuition. In view of these conflicting evidence, here we make a systematic study on using artificial attention and human attention in neural network design. With three example computer vision tasks, diverse representative backbones, and famous architectures, corresponding real human gaze data, and systematically conducted large-scale quantitative studies, we quantify the consistency between artificial attention and human visual attention and offer novel insights into existing artificial attention mechanisms by giving preliminary answers to several key questions related to human and artificial attention mechanisms. Overall results demonstrate that human attention can benchmark the meaningful `ground-truth' in attention-driven tasks, where the more the artificial attention is close to human attention, the better the performance; for higher-level vision tasks, it is case-by-case. It would be advisable for attention-driven tasks to explicitly force a better alignment between artificial and human attention to boost the performance; such alignment would also improve the network explainability for higher-level computer vision tasks.

研究の動機と目的

• 人間の視覚的注意と深層ニューラルネットワーク内の人工的注意メカニズムの整合性を調査すること。
• 人工的注意マップが人間の直感が意図したタスク関連特徴を本当に反映しているかどうかを評価すること。
• 人工的注意を人間の注視に合わせることで、モデルの性能と解釈可能性が向上するかどうかを特定すること。
• 注意駆動型コンピュータビジョンタスクにおける意味のある注意のための実証的ベンチマークを提供すること。
• ニューラルネットワークにおけるより解釈可能で効果的な注意メカニズムの設計に役立つ知見を提供すること。

提案手法

• 本研究は、画像認識タスク中に被験者から収集した実際の人間の注視データを、人間の注意の代理として用いる。
• 画像分類、物体検出、画像キャプション生成の3つのコンピュータビジョンタスクにおいて、異なるバックボーンを備えた複数の最先端のニューラルネットワークアーキテクチャを評価する。
• 事前に訓練済みのモデルから人工的注意マップを抽出し、相関係数やオーバーラップ率（IoU）などのアライメント指標を用いて、人間の注視データと定量的に比較する。
• 注意のアライメントと下流タスクの性能の関係を評価するため、大規模かつ体系的な実験を実施する。
• 統計的分析を用いて、人間の注意とのアライメントが向上することで、モデルの正確性と頑健性が向上するかどうかを検証する。
• 精度の評価に加え、人間による評価とサリエンシーマップとの整合性を用いて、注意マップの解釈可能性についても評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるコンピュータビジョンタスクにおいて、人工的注意は人間の視覚的注意とどの程度整合性を示すか？
• RQ2 人工的注意を人間の注視に合わせることで、モデルの性能がどの程度向上するか？
• RQ3 人工的注意と人間の注意のアライメント度合いは、モデルの解釈可能性と相関するか？
• RQ4 タスクごとに、注意アライメントの有効性に差異は生じるか？
• RQ5 人間の注視データは、人工的注意メカニズムの評価に信頼できる基準として機能するか？

主な発見

• 人工的注意マップはしばしば人間の注視パターンから逸脱しており、注意メカニズムが本質的に解釈可能であるという仮定に疑問を呈する。
• 低レベルのビジョンタスクでは、人工的注意と人間の注意のアライメントが高いほど、モデル性能の向上が顕著に見られる。
• 高レベルのビジョンタスクでは、注意アライメントの性能向上効果は状況に依存し、普遍的とは言えない。
• トレーニング段階で人工的注意と人間の注視を強制的に合わせることで、モデルの正確性と解釈可能性の両方が向上する。
• 人間の注意は、注意駆動型タスクにおける意味のある注意の有効なベンチマークである。
• 本研究は、注意メカニズムが人間と同様の注視行動を反映する場合に、より効果的であるという実証的証拠を提供する。