[論文レビュー] Neural Attention Models in Deep Learning: Survey and Taxonomy

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|Dec 11, 2021

EEG and Brain-Computer Interfaces被引用数 10

ひとこと要約

本稿は、心理学および神経科学の先行研究に基づいた深層学習におけるニューラルアテンションモデルの包括的サーベイと分類体系を提示する。51の主要なアテンションモデルを、古典的研究から導出された17の基準を用いて分析し、アテンションメカニズムの理解を体系化し、特に生物学的妥当性およびハイブリッド型トップダウン／ボトムアップアテンションにおける研究ギャップを浮き彫りにし、分野の今後の発展を導くフレームワークを提供する。

ABSTRACT

Attention is a state of arousal capable of dealing with limited processing bottlenecks in human beings by focusing selectively on one piece of information while ignoring other perceptible information. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. Currently, this property has been widely explored in deep neural networks. Many different neural attention models are now available and have been a very active research area over the past six years. From the theoretical standpoint of attention, this survey provides a critical analysis of major neural attention models. Here we propose a taxonomy that corroborates with theoretical aspects that predate Deep Learning. Our taxonomy provides an organizational structure that asks new questions and structures the understanding of existing attentional mechanisms. In particular, 17 criteria derived from psychology and neuroscience classic studies are formulated for qualitative comparison and critical analysis on the 51 main models found on a set of more than 650 papers analyzed. Also, we highlight several theoretical issues that have not yet been explored, including discussions about biological plausibility, highlight current research trends, and provide insights for the future.

研究の動機と目的

• 深層学習における主要なニューラルアテンションモデルを、深層学習以前の認知科学に根ざした理論的視点から批判的に分析すること。
• 心理学および神経科学の古典的研究から導出された17の基準に基づくアテンションメカニズムの分類体系を構築すること。
• 理論的根拠に基づくフレームワークを通じて、既存のアテンションメカニズムの理解を体系化すること。
• 特に生物学的妥当性、ハイブリッド型アテンション（トップダウンおよびボトムアップ）、記憶統合の分野における未開拓の研究方向を同定すること。
• 特にマルチモーダルおよび自己教師あり学習の文脈において、アテンションモデリングにおける主要な理論的・実用的ギャップを強調することで、今後の研究を導くこと。

提案手法

• 深層学習における51の代表的ニューラルアテンションモデルを同定・分析するため、650篇以上の論文を系統的レビューした。
• 心理学および神経科学の基盤的研究から導出された17の基準（選択性、モality、制御モード、時間的ダイナミクスなど）に基づき、分類体系を提案した。
• 分類体系を用いた定性的比較を通じて、人間のアテンションメカニズムとの理論的整合性に注目し、アテンションモデルを評価した。
• トランスフォーマー、RNN、CNN、グラフニューラルネットワークなど、さまざまなアーキテクチャにおけるアテンションメカニズムをマッピングし、認知的原則との整合性を評価した。
• 現在のモデルにおける制限、例えばボトムアップアテンションの欠如、外部記憶システムとの統合が不十分であること、ハイブリッドアテンションメカニズムが弱いことなどを同定した。
• 神経生理学的証拠にインspiredされた、トップダウンとボトムアップアテンションの繰り返し的相互作用を強調することで、今後のモデル設計のフレームワークを提供した。

実験結果

リサーチクエスチョン

• RQ1 深層学習における既存のニューラルアテンションモデルは、心理学および神経科学の理論的・実験的知見とどの程度整合しているか？
• RQ2 アテンションメカニズムにはどのような構造的・機能的差異があり、それらを体系的に分類する方法は何か？
• RQ3 現在のアテンションモデルは、特にトップダウンおよびボトムアップ制御メカニズムの観点から、どの程度生物学的に妥当とされるか？
• RQ4 エピソード的記憶、作業記憶、意味的記憶を含む外部記憶システムの統合が、なぜアテンションベースの深層学習モデルにおいてまだ未発展なのか？
• RQ5 トップダウンとボトムアップの影響を繰り返し組み合わせるハイブリッドアテンションモデルは、知覚および意思決定タスクのパフォーマンスをどのように向上させ得るか？

主な発見

• サーベイでは、トランスフォーマー、RNN、CNN、グラフニューラルネットワークなど多様なアーキテクチャにまたがる51の主要なニューラルアテンションモデルを同定した。
• 多くのアテンションモデルは、特徴統合理論やスポットライトモデルといった古典的理論と整合しており、特に選択性処理およびモダリティ特異的アテンションの面で一致している。
• 強力な理論的および神経生理学的根拠があるにもかかわらず、ボトムアップアテンションメカニズムを組み込んでいるモデルは少数にとどまる。
• トップダウンおよびボトムアップアテンションを統合するハイブリッドモデルは稀であり、Neural TransformerおよびBRIMsの2つがこの分野で顕著な進展を示している。
• 外部記憶の統合は未発展にとどまっており、多くのモデルが過去に得た知識を再利用または整理するのではなく、現在の入力にのみ焦点を当てている。
• トップダウンとボトムアップアテンションメカニズムの繰り返し的相互作用の欠如は、動的または曖昧な環境におけるモデルの適応性を制限しており、これが主要な研究ギャップであると示唆される。