[論文レビュー] Attention, please! A survey of Neural Attention Models in Deep Learning

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|Mar 31, 2021

EEG and Brain-Computer Interfaces被引用数 6

ひとこと要約

本調査では、2014年から2021年までの650編の主要論文を対象に、深層学習におけるニューラルアテンション機構の包括的で体系的な分析を提供している。アテンションのコアな応用分野として、CNN、RNN、生成モデルを特定し、アテンションの使用法を体系的な分類に整理した。また、モデルの解釈可能性向上におけるアテンションの役割を強調するとともに、分野における文書レビューの自動的かつ再現可能な手法に基づいた今後の研究方向性を提案している。

ABSTRACT

In humans, Attention is a core property of all perceptual and cognitive operations. Given our limited ability to process competing sources, attention mechanisms select, modulate, and focus on the information most relevant to behavior. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. For the last six years, this property has been widely explored in deep neural networks. Currently, the state-of-the-art in Deep Learning is represented by neural attention models in several application domains. This survey provides a comprehensive overview and analysis of developments in neural attention models. We systematically reviewed hundreds of architectures in the area, identifying and discussing those in which attention has shown a significant impact. We also developed and made public an automated methodology to facilitate the development of reviews in the area. By critically analyzing 650 works, we describe the primary uses of attention in convolutional, recurrent networks and generative models, identifying common subgroups of uses and applications. Furthermore, we describe the impact of attention in different application domains and their impact on neural networks' interpretability. Finally, we list possible trends and opportunities for further research, hoping that this review will provide a succinct overview of the main attentional models in the area and guide researchers in developing future approaches that will drive further improvements.

研究の動機と目的

• 複数の分野にわたり、深層学習におけるニューラルアテンション機構の包括的かつ体系的なレビューを提供すること。
• 畳み込み型、再帰型、生成型ニューラルネットワークにおけるアテンションの主な用途を特定・分類すること。
• 実世界の応用におけるアテンションのモデルの解釈可能性およびパフォーマンスへの影響を分析すること。
• アテンション研究分野における文書レビューのための自動的かつ再現可能で、公開可能な手法を開発・公開すること。
• アテンションを活用する深層学習分野における未解決の課題と今後の研究方向性を特定すること。

提案手法

• 著者らは、arXiv、IEEE Xplore、ACL、およびNeurIPS、ICML、CVPRなどの国際会議を含む主要な機械学習データベースから、18,257編の論文を収集するため、Pythonスクリプトを用いて2014年～2019年、2019年～2021年の2段階の検索を実施した。
• 3段階のフィルタリング戦略を適用した：(1) 一般的なアテンション用語、(2) 深層学習に特化した用語、(3) 特定のアテンション機構（例：自己アテンション、トランスフォーマー、共アテンション）。
• 要約の品質、被引用数の閾値、および非深層学習の研究（例：視覚的アテンション、注目度、眼動測定）の手動除外により、さらに論文を絞り込んだ。
• 定量的分析に6,567編の論文を、質的・核心的なレビューに650編の論文を選定した。その選定基準は被引用数と関連性に基づいた。
• 著者らは、アテンション分野における文書レビューのための再現可能で自動化されたパイプラインを開発し、GitHubに公開した。今後の体系的レビューを支援することを目的としている。
• 分析は6つのコアなテーマを中心に構成された：アテンションの用途、アテンション機構、応用、解釈可能性、トレンド、課題。

実験結果

リサーチクエスチョン

• RQ1 畳み込み型、再帰型、生成型ニューラルネットワークにおいて、アテンション機構はどのように主に応用されているか？
• RQ2 アテンションは、さまざまな深層学習応用分野において、モデルの解釈可能性とパフォーマンスをどのように向上させたか？
• RQ3 最も影響力のあるアテンション機構とアーキテクチャは何か。2014年から2021年の間にそれらはどのように進化したか？
• RQ4 自然言語処理、コンピュータビジョン、マルチモーダル学習といった異なる分野において、共通するアテンション応用のサブグループは何か？
• RQ5 アテンションを活用する深層学習モデル分野における主な未解決の課題と今後の研究方向性は何か？

主な発見

• 本調査では、深層学習におけるアテンションに関する650編の高影響力論文を特定した。その多くは自然言語処理、コンピュータビジョン、マルチモーダル学習に集中している。
• 自己アテンションおよびトランスフォーマーに基づくモデルが、特に系列モデリングや翻訳タスクにおいて支配的となった。長距離文脈の処理において、RNNを著しく上回った。
• アテンション機構は、関連する入力特徴を強調することで、モデルの推論プロセスの可視化を可能にし、モデルの解釈可能性を顕著に向上させた。
• 階層的および共アテンション機構は、視覚的質問応答や画像キャプション生成などのマルチモーダルタスクで広く用いられ、マルチモーダル間の整合性を向上させた。
• 生成モデル（例：VAE、GAN、拡散モデル）へのアテンションの統合は、特徴表現の質と生成品質を向上させ、特に条件付き生成において顕著だった。
• 著者らは、アテンション機構がもはやニッチな部品ではなく、多様な分野における最先端の深層学習システムの基盤的構成要素であることを示した。