[論文レビュー] Object Based Attention Through Internal Gating

Jordan Lei, Ari S. Benjamin+1 more|arXiv (Cornell University)|Jun 8, 2021

Visual Attention and Saliency Detection参考文献 67被引用数 6

ひとこと要約

本稿では、上位から下位、下位から上位、および横方向のフィードバック接続と内部ゲーティングを統合したオブジェクトベースの注意機構を備えた深層学習モデルを提案する。このモデルにより、階層的ニューラルネットワークにおける再帰的でタスク駆動の注意が可能になる。モデルは、注意不変のチューニング、帰還抑制、およびより深い層での注意調節の増強といった、重要な神経生物学的現象を再現し、生物学的に妥当なアーキテクチャと学習から、学習された再帰的注意が出現しうることを示している。

ABSTRACT

Object-based attention is a key component of the visual system, relevant for perception, learning, and memory. Neurons tuned to features of attended objects tend to be more active than those associated with non-attended objects. There is a rich set of models of this phenomenon in computational neuroscience. However, there is currently a divide between models that successfully match physiological data but can only deal with extremely simple problems and models of attention used in computer vision. For example, attention in the brain is known to depend on top-down processing, whereas self-attention in deep learning does not. Here, we propose an artificial neural network model of object-based attention that captures the way in which attention is both top-down and recurrent. Our attention model works well both on simple test stimuli, such as those using images of handwritten digits, and on more complex stimuli, such as natural images drawn from the COCO dataset. We find that our model replicates a range of findings from neuroscience, including attention-invariant tuning, inhibition of return, and attention-mediated scaling of activity. Understanding object based attention is both computationally interesting and a key problem for computational neuroscience.

研究の動機と目的

• 脳で観察される上位から下位への動的および再帰的ダイナミクスを捉える、生物学的に妥当なオブジェクトベースの注意の深層学習モデルを開発すること。
• 単純な刺激に限定された神経科学的注意モデルと、上位から下位への制御を欠いた深層学習の注意メカニズムとの間のギャップを埋めること。
• 統一的かつ学習可能なアーキテクチャを用いて、複雑な視覚的シーンにおける同時にオブジェクト認識と注意の割り当てを可能にすること。
• 注意不変のチューニング、帰還抑制、階層的調節といった、神経生物学的注意現象の主要な特徴を再現すること。
• 内部ゲーティングと再帰的フィードバックが、深層ネットワークにおける神経活動のスケーリングをどのように支援するかを調査すること。

提案手法

• モデルは、上位層から下位層への再帰的情報伝達を可能にするために、フィードフォワードの畳み込みアーキテクチャにフィードバックおよび横方向接続を追加している。
• 内部ゲーティングは、上位から下位への信号に基づき、早期層の活動を特定的に増幅または抑制する学習可能な注意制御ゲートとして実装されている。
• モデルは、オブジェクト認識および注意タスクのバックプロパゲーション・スル・タイム（BPTT）により訓練され、正解のオブジェクトセグメンテーションとラベルが使用されている。
• 上位から下位への注意信号は、上位層の表現から生成され、乗法的ゲーティングを通じて下位層の活動を制御し、注目されたオブジェクトの選択的増幅を可能にしている。
• 帰還抑制は、最近注目された領域を動的ゲーティング機構で抑制する仕組みとして実装されており、複数のオブジェクトを順次走査するのを促進している。
• モデルはエンド・トゥ・エンドの訓練を通じて階層的特徴表現を学習し、注意は再帰的かつゲーティングされたアーキテクチャの副産物として出現する。

実験結果

リサーチクエスチョン

• RQ1 再帰的フィードバックと内部ゲーティングを備えた深層ニューラルネットワークが、注意不変のチューニングといった神経生物学的に観察された注意現象を再現できるか？
• RQ2 フィードバック接続による上位から下位への制御が、階層的アーキテクチャにおける注意のゲインと神経応答のスケーリングにどのように影響するか？
• RQ3 走査順序を明示的にプログラミングしない状況でも、モデルが帰還抑制を示すことができるか？
• RQ4 モデルのより深い層で、サルの視覚皮質で観察されたように、注意調節が強化されるか？
• RQ5 内部ゲーティング機構が、ニューロンの基本的なチューニング特性を保ちながら、選択的注意をどの程度サポートできるか？

主な発見

• モデルは注意不変のチューニングを成功裏に再現しており、神経細胞の応答の大きさは変化するが、その下位のチューニングカーブの形状は変化しない。
• モデル内の神経細胞は、サルの視覚径路における神経生理学的発見と整合するように、より深い層で注意調節が強化されている。
• 動的抑制による最近の注目領域の抑制を通じて、モデルは複数のオブジェクトを順次走査する帰還抑制を示している。
• 内部ゲーティングにより、神経活動の乗法的スケーリングが可能となり、非注目領域は抑制され、注目領域は増幅される。これは皮質のゲイン制御を模倣している。
• モデルは、COCOデータセットからの自然画像を含む複雑なシーンにおいて、明示的な注意の監視なしに複数のオブジェクトを注目し、分類することが可能である。
• 再帰的フィードバック、内部ゲーティング、および階層的特徴学習の組み合わせにより、注意の動的挙動が出現し、注意は手動でコーディングするのではなく、学習によって出現しうることを示唆している。