[論文レビュー] The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks

Xiaoliang Luo, Brett D. Roads+1 more|arXiv (Cornell University)|Feb 6, 2020

Visual Attention and Saliency Detection参考文献 41被引用数 5

ひとこと要約

この論文は、中レベルの特徴表現を調整することでタスク固有のパフォーマンスを向上させる、プラグアンドプレイ式で目的志向の注意メカニズムを、深層畳み込みニューラルネットワーク（DCNN）に導入している。上位からの注意重みを適用してターゲット関連の特徴を強調することで、中程度の注意レベルにおいて感度（d′）を向上させつつバイアスと誤検出を増加させる。これは人間の注意のトレードオフに類似しており、標準的なファインチューニングに比べて転移学習で優れた性能を示す。

ABSTRACT

People deploy top-down, goal-directed attention to accomplish tasks, such as finding lost keys. By tuning the visual system to relevant information sources, object recognition can become more efficient (a benefit) and more biased toward the target (a potential cost). Motivated by selective attention in categorisation models, we developed a goal-directed attention mechanism that can process naturalistic (photographic) stimuli. Our attention mechanism can be incorporated into any existing deep convolutional neural network (DCNNs). The processing stages in DCNNs have been related to ventral visual stream. In that light, our attentional mechanism incorporates top-down influences from prefrontal cortex (PFC) to support goal-directed behaviour. Akin to how attention weights in categorisation models warp representational spaces, we introduce a layer of attention weights to the mid-level of a DCNN that amplify or attenuate activity to further a goal. We evaluated the attentional mechanism using photographic stimuli, varying the attentional target. We found that increasing goal-directed attention has benefits (increasing hit rates) and costs (increasing false alarm rates). At a moderate level, attention improves sensitivity (i.e., increases $d^\prime$) at only a moderate increase in bias for tasks involving standard images, blended images, and natural adversarial images chosen to fool DCNNs. These results suggest that goal-directed attention can reconfigure general-purpose DCNNs to better suit the current task goal, much like PFC modulates activity along the ventral stream. In addition to being more parsimonious and brain consistent, the mid-level attention approach performed better than a standard machine learning approach for transfer learning, namely retraining the final network layer to accommodate the new task.

研究の動機と目的

• 事前学習済みDCNNに統合可能な生物学的に現実的な目的志向の注意メカニズムを開発し、視覚認識タスクにおけるパフォーマンスを向上させること。
• 人間の認知処理に類似した、目的志向の注意がもたらす利点（感度の向上）とコスト（誤検出の増加）のトレードオフを調査すること。
• 最終層のファインチューニングのような標準的な転移学習手法と比較して、注意に基づく再構成がDCNNのパフォーマンスを上回るかどうかを評価すること。
• 前頭前野に類似したメカニズムからの上位からの信号が、一般用途のDCNNを特定のタスク目標に適合させるためにどのように再構成できるかを検討すること。
• 複数のターゲットカテゴリにわたる注意の一般化や、論理的結合（論理和・論理積）などの複雑な探索戦略をサポートする、将来的なモデルの基盤を確立すること。

提案手法

• 事前学習済みDCNNに中レベルの注意レイヤーを挿入し、畳み込み特徴マップの応答に対して学習可能な注意重みを適用する。
• 注意重みは、特定のターゲットクラス（例：「たぬきネコ」）に関連する特徴次元を強調または抑制するように学習される。これは前頭前野からの上位からの調節を模倣する。
• 注意メカニズムは特徴活性化を再重み付けし、フィルタ応答の分散を増加させることで、不要なフィルタを効果的に無効化し、ターゲットの識別能を向上させる。
• 信号検出理論の指標（ヒット率、誤検出率、感度（d′））を用いて、標準的、ブレンド済み、自然な敵対的画像のすべてにおいてパフォーマンスを評価する。
• 同じネットワークアーキテクチャと学習プロトコルを用いて、最終層の再トレーニングによる標準的転移学習と比較する。
• 注意強度を変化させ、バイアスと感度への影響を評価し、中程度の注意レベルで最良のパフォーマンスが得られることを確認した。

実験結果

リサーチクエスチョン

• RQ1 DCNNにおける目的志向の注意は、ターゲット検出の感度（d′）を向上させるか？ もしそうなら、その恩恵が最大になるのはどの程度の注意強度か？
• RQ2 目的志向の注意を強化すると、人間の認知に見られるように、ヒット率の向上と誤検出率の増加という明確なトレードオフが生じるか？
• RQ3 中レベルでプラグアンドプレイ式の注意メカニズムは、前頭前野が腹側視覚ストリームを調節するのと同様に、一般用途のDCNNを特定のタスク目標に適合させることができるか？
• RQ4 注意に基づくアプローチは、最終層のファインチューニングなどの標準的転移学習手法に比べ、多様な画像タイプにおいて感度と耐性の両面で優れているか？
• RQ5 注意重みはネットワークの表現空間をどのように再構成するのか？ また、タスクの関連性に基づいて、特定のフィルタを特定的に抑制または強調するのか？

主な発見

• 目的志向の注意を強化することでヒット率と感度（d′）が向上し、中程度の注意強度レベルで感度が最大値に達することが確認された。
• 高い注意強度では誤検出率が上昇し、非ターゲットオブジェクトにおいてもターゲットに類似した特徴に注意が向けられがちな注意バイアスのコストが明確に示された。
• 標準的な最終層ファインチューニングに比べ、注意ベースのアプローチが転移学習で優れた性能を示し、より高い効率と表現の柔軟性を示した。
• 注意重みはフィルタ応答の分散を増加させることで、ネットワークを再構成し、ターゲットクラスに関係のないフィルタを特定的に抑制した。
• このメカニズムは特徴次元を再重み付けし、ターゲットクラスの識別能を高めるように機能し、認知モデルにおける幾何的変形に類似した作用を示した。
• 結果は、上位からの注意が一般用途のDCNNをタスク固有のパフォーマンスに再構成できることを支持しており、人間の前頭前野-視覚ストリーム相互作用に類似したメカニズムを再現している。