[論文レビュー] Phase Conductor on Multi-layered Attentions for Machine Comprehension

Rui Liu, Wei Wei+2 more|arXiv (Cornell University)|Oct 28, 2017

Topic Modeling参考文献 12被引用数 18

ひとこと要約

本稿では、質問に特化した文書表現と証拠伝達を別々の段階に分離することで、質問応答を向上させる、マルチフェーズ・マルチレイヤー注意力モデルであるPhaseCondを提案する。質問と文書のための独立および共有エンコーダーを用いることで注意力メカニズムを改善し、SQuADで71.85% EMおよび81.13% F1の最先端性能を達成した。

ABSTRACT

Attention models have been intensively studied to improve NLP tasks such as machine comprehension via both question-aware passage attention model and self-matching attention model. Our research proposes phase conductor (PhaseCond) for attention models in two meaningful ways. First, PhaseCond, an architecture of multi-layered attention models, consists of multiple phases each implementing a stack of attention layers producing passage representations and a stack of inner or outer fusion layers regulating the information flow. Second, we extend and improve the dot-product attention function for PhaseCond by simultaneously encoding multiple question and passage embedding layers from different perspectives. We demonstrate the effectiveness of our proposed model PhaseCond on the SQuAD dataset, showing that our model significantly outperforms both state-of-the-art single-layered and multiple-layered attention models. We deepen our results with new findings via both detailed qualitative analysis and visualized examples showing the dynamic changes through multi-layered attention models.

研究の動機と目的

• 機械理解における長距離依存関係の捉え方や、答えの証拠を効果的に伝達するのを妨げる単一段階の注意力モデルの限界を解消すること。
• 質問に特化した表現と証拠伝達を別々の段階に分けることで、モデルの性能と解釈可能性が向上するかを調査すること。
• 異なる質問表現（独立および共有エンコーダー）を複数用いることで、注意力メカニズムにおけるアライメントと特徴学習がどのように向上するかを調査すること。
• 複数レイヤーにわたる注意力重みの動的変化を分析し、スタックされた注意力メカニズムにおける情報の流れと劣化のメカニズムを解明すること。

提案手法

• PhaseCondは2段階のアーキテクチャを採用する：質問に特化した文書表現段階（スタックされた質問-文書注意力レイヤーを含む）と、証拠伝達段階（スタックされた自己注意力レイヤーを含む）。
• 各段階には統合層が含まれる。質問-文書段階では外側統合（outer fusion）が、複数のレイヤーにおける表現を連結するために用いられ、自己注意力レイヤーでは内側統合（inner fusion）が情報の流れを制御するために用いられる。
• 3つの異なる埋め込みストリームを用いる改善されたドット積注意力関数を提案する：独立した質問エンコーダー、重み共有の質問エンコーダー、重み共有の文書エンコーダー。
• クエリは共有された質問表現から得られ、キーは文書から得られる。学習された注意力重みを通じて文脈に適したアライメントが実現される。
• 各段階に複数のレイヤーをスタック可能であり、文書表現の反復的精錬と、答えに関連する証拠の伝達を可能にする。
• SQuAD上で可視化とアブレーションスタディを実施し、特に重みの集中と劣化パターンに注目して、レイヤー間での注意力ダイナミクスを分析した。

実験結果

リサーチクエスチョン

• RQ1 質問に特化した文書表現と証拠伝達を別々の段階に分けることで、機械理解タスクにおける性能が向上するか？
• RQ2 独立および共有エンコーダーを用いた、複数の視点に特化した質問表現を用いることで、単一エンコーダー手法と比較して、注意力のアライメントとモデルの正確性にどのような影響を与えるか？
• RQ3 質問-文書注意力および自己注意力段階において、複数レイヤーにわたる注意力重みの動的変化はどのようなものか？また、それらはモデル性能とどのように関係しているか？
• RQ4 なぜ質問-文書注意力段階にレイヤーを追加すると性能が劣化するのに対し、自己注意力段階ではレイヤーを深くすることで性能が向上するのか？
• RQ5 注意力行列は、複雑な文書における証拠の集中と伝達の意味のあるパターンをどれほど明らかにするのか？

主な発見

• PhaseCondはSQuADベンチマークで71.85% EMおよび81.13% F1を達成し、単層および多層注意力モデルを大きく上回った。
• 質問-文書注意力段階に第2レイヤーを追加すると性能が低下した（EMは72.05から71.85に低下）。これは、同じ質問表現を繰り返しアライメントすることで、質問に過剰適合し、表現の多様性が低下するためである。
• 自己注意力の第2レイヤーでは、第1レイヤーと比較して、より鋭いアライメント重みが得られた。これは、より深い自己注意力レイヤーが、文書内での証拠の集中と伝達を強化していることを示している。
• 可視化の結果、第1段階の質問-文書注意力レイヤーを経ると、文書の語が質問に次第に一致し、第2段階では識別不能な注意力パターンが生じる。これは、性能の低下を説明する。
• 自己注意力段階では、注意力重みがより集中する。例えば、'Denver Broncos'の注意力が第2レイヤーで'Carolina Panthers'に集中するようになる。これは、答えに関連する証拠の効果的な伝達を示している。
• モデルの分析から、自己注意力レイヤーを介した証拠伝達が、繰り返し質問-文書注意力を用いるよりも効果的であることが明らかになった。これは、内部的な文書表現の精錬の重要性を示している。