[論文レビュー] Multi-Cast Attention Networks for Retrieval-based Question Answering and Response Prediction

Yi Tay, Luu Anh Tuan+1 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 52被引用数 22

ひとこと要約

本稿では、注意機構をプーリング手法としてではなく、特徴量拡張手法として再利用する新しいニューラルアーキテクチャ、Multi-Cast Attention Networks (MCAN) を提案する。MCAN は、注意行列から導出されるスカラーフィーチャーを次のエンコーダー層に射影することで、特徴量を拡張する。MCAN は、4つのベンチマークデータセットで最先端の性能を達成しており、Ubuntu Dialogue Corpus では 9% の改善を達成し、TrecQA では最新の結果を記録している。これは、複数の注意変種（例：共注意力、内部注意）とプーリングタイプ（例：最大値、平均、整合性）を同時に適用可能でありながら、表現サイズを増加させないことで実現された。

ABSTRACT

Attention is typically used to select informative sub-phrases that are used for prediction. This paper investigates the novel use of attention as a form of feature augmentation, i.e, casted attention. We propose Multi-Cast Attention Networks (MCAN), a new attention mechanism and general model architecture for a potpourri of ranking tasks in the conversational modeling and question answering domains. Our approach performs a series of soft attention operations, each time casting a scalar feature upon the inner word embeddings. The key idea is to provide a real-valued hint (feature) to a subsequent encoder layer and is targeted at improving the representation learning process. There are several advantages to this design, e.g., it allows an arbitrary number of attention mechanisms to be casted, allowing for multiple attention types (e.g., co-attention, intra-attention) and attention variants (e.g., alignment-pooling, max-pooling, mean-pooling) to be executed simultaneously. This not only eliminates the costly need to tune the nature of the co-attention layer, but also provides greater extents of explainability to practitioners. Via extensive experiments on four well-known benchmark datasets, we show that MCAN achieves state-of-the-art performance. On the Ubuntu Dialogue Corpus, MCAN outperforms existing state-of-the-art models by $9\%$. MCAN also achieves the best performing score to date on the well-studied TrecQA dataset.

研究の動機と目的

• 神経ランキングモデルにおいて、特徴量プーリングや表現圧縮の目的にのみ使用される従来の注意機構の限界を解消すること。
• 表現次元の増加なしに、任意の複数の注意変種とプーリングタイプを同時に適用可能にするためのアーキテクチャ設計の必要性を排除すること。
• キャストされた注意特徴を通じて実数値のヒントを提供することにより、リtrievalベースの質問応答および応答予測におけるモデルの解釈可能性と性能を向上させること。
• 多様な会話モデリングおよび質問応答タスクに適用可能な統一的かつ汎用的なニューラルランキングフレームワークの開発

提案手法

• MCAN は、複数のソフト注意演算を実行するマルチキャスト注意機構を導入しており、それぞれが注意行列から導出されたスカラーフィーチャーを次のエンコーダー層に射影する。
• 各注意演算は、異なる注意タイプ（例：共注意力、内部注意）およびプーリングバリエーション（例：最大プーリング、平均プーリング、整合性プーリング）に基づいており、入力シーケンスペアの多様な視点を提供する。
• グローバルプーリングや注意重み付き集約などの技術を用いて、注意行列をスカラーフィーチャーに圧縮し、それらを次の層にヒントとして挿入する。
• 任意の数の注意キャストをサポートしており、表現の連結や次元の増加なしに、複数の注意機構を柔軟かつ効率的に統合可能である。
• 入力を処理するには標準的なエンコーダー（例：BiLSTM や Transformer）を用い、注意特徴を複数の層に挿入することで表現学習をガイドする。
• 最終的な表現は、ランキングまたは分類タスクに使用され、文書-クエリ対や応答ペアに対して学習されたスコア関数が適用される。

実験結果

リサーチクエスチョン

• RQ1 注意機構をプーリング手法としてではなく、表現学習のための特徴量拡張手法として再利用することは、神経ランキングモデルにおいて有効であるか？
• RQ2 共注意力や内部注意といった複数の注意変種と、最大値、平均、整合性といった複数のプーリングタイプを同時に適用可能にすることで、モデルの複雑さを増すことなく性能が向上するか？
• RQ3 提案されたマルチキャスト注意機構は、質問応答や対話応答選択といった多様なリtrievalベースのタスクで最先端の結果を達成できるか？
• RQ4 キャストされた注意特徴は、シーケンスマッチングタスクにおけるモデルの解釈可能性と説明可能性にどのように寄与するか？

主な発見

• MCAN は、Ubuntu Dialogue Corpus において、既存で最も優れたモデルよりも相対的に 9% の改善を達成し、新たな最先端の性能を記録した。
• MCAN は、広く研究されている TrecQA データセットで、これまでに報告された最高の結果を達成し、すべての先行手法を上回った。
• コミュニティQA（CQA）および Tweet Reply Prediction ベンチマークでも強力な性能を発揮し、会話モデリングタスクへの広範な適用可能性を示した。
• キャストされた注意特徴の可視化結果から、それらが解釈可能であり、意味的に意味のある部分語句に対応していることが示された。これにより、モデルの説明可能性が向上した。
• マルチキャスト機構により、表現サイズの増加なしに、多様な注意タイプとプーリング戦略を同時に使用可能にし、アーキテクチャ設計コストを低減した。