[論文レビュー] An Introductory Survey on Attention Mechanisms in NLP Problems

Dichao Hu|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 25被引用数 40

ひとこと要約

この論文は自然言語処理における注意機構を概説し、基本的な定式化、変種（多次元、階層、自己指向、メモリベース、タスク特化）、応用、評価手法、および事前学習とアンサンブルとの関連を詳述する。

ABSTRACT

First derived from human intuition, later adapted to machine translation for automatic token alignment, attention mechanism, a simple method that can be used for encoding sequence data based on the importance score each element is assigned, has been widely applied to and attained significant improvement in various tasks in natural language processing, including sentiment classification, text summarization, question answering, dependency parsing, etc. In this paper, we survey through recent works and conduct an introductory summary of the attention mechanism in different NLP problems, aiming to provide our readers with basic knowledge on this widely used method, discuss its different variants for different tasks, explore its association with other techniques in machine learning, and examine methods for evaluating its performance.

研究の動機と目的

• 基本形の注意とその数理的定式化を説明する。
• 異なるNLPタスクに使用される主要な注意の変種を整理・説明する。
• 注意機構が他のML手法（事前学習、アンサンブル）とどのように相互作用するかを探る。
• タスク横断的な注意機構の評価手法を概説する。

提案手法

• 注意スコア e_i、正規化された重み α_i、および文脈ベクトル c を用いた基本的な注意定式化を提示する。
• 多次元、階層、自己注意、メモリベース、タスク特化の注意といったバリエーションを紹介・説明する。
• 位置エンコーディングとマスキングを含む自己注意（Transformer）で用いられる拡張を説明する。
• マルチホップ更新とキー-値設計を用いたメモリベースの注意を論じる。
• アンサンブル、ゲーティング、事前学習への適用、BERTやGPTを含むリンクを論じる。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける注意の核心的な数理定式は何か？
• RQ2 注意の主なバリアントとそれぞれのタスク特有の使用例は？
• RQ3 注意機構は事前学習やアンサンブルといった他の技術とどのように統合されるのか？
• RQ4 注意機構は内在的・外在的な評価のいずれかでどのように評価されるのか？

主な発見

• 注意は、学習された整列スコアに基づいて入力要素を重み付けすることで、文脈的表現を計算する方法を提供する。
• より複雑なNLPタスクに対応するため、階層的・メモリベースといった複数の注意の変種が提案されている。
• 自己注意とTransformerベースのアーキテクチャは、並列計算とトークンの深い文脈化を可能にする。
• 注意ベースの事前学習モデル（例：BERT、OpenAI GPT）は、表現と文脈依存性を同時に学習させることで高い性能を達成する。
• 定性的な可視化（ヒートマップ）と定量的評価指標が、内在的な整合性ベースと外在的タスクベースの評価の両方で注意を評価するのに用いられる。