[論文レビュー] Gated Group Self-Attention for Answer Selection

Dong Xu, Jianhui Ji+3 more|arXiv (Cornell University)|May 26, 2019

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、グループ自己注意機構とゲーティング機構を用いて局所的およびグローバルな文脈情報を区別する、回答選択のための新しい自己注意ベースのモデル、Gated Group Self-Attention (GGSA) を提案する。GGSA は、2つの QA データセットにおいて最先端の性能を達成し、グローバル自己注意や RNN ベースの手法を凌駝始める一方で、計算コストを低減する。

ABSTRACT

Answer selection (answer ranking) is one of the key steps in many kinds of question answering (QA) applications, where deep models have achieved state-of-the-art performance. Among these deep models, recurrent neural network (RNN) based models are most popular, typically with better performance than convolutional neural network (CNN) based models. Nevertheless, it is difficult for RNN based models to capture the information about long-range dependency among words in the sentences of questions and answers. In this paper, we propose a new deep model, called gated group self-attention (GGSA), for answer selection. GGSA is inspired by global self-attention which is originally proposed for machine translation and has not been explored in answer selection. GGSA tackles the problem of global self-attention that local and global information cannot be well distinguished. Furthermore, an interaction mechanism between questions and answers is also proposed to enhance GGSA by a residual structure. Experimental results on two popular QA datasets show that GGSA can outperform existing answer selection models to achieve state-of-the-art performance. Furthermore, GGSA can also achieve higher accuracy than global self-attention for the answer selection task, with a lower computation cost.

研究の動機と目的

• 質問-回答シーケンスにおける長距離依存関係を捉えることが難しい RNN ベースのモデルの限界を解消すること。
• グローバル自己注意が、回答選択において局所的およびグローバルな文脈情報を区別できないという問題を克服すること。
• 質問と回答の間の新たな相互作用メカニズムを残差構造を用いて導入し、質問に適応した表現のモデリングを向上させること。
• RNN や CNN モデルが支配的であったタスクである回答選択に特化した自己注意ベースのモデルを開発すること。
• グローバル自己注意よりも高い精度と低い計算コストを達成すること。

提案手法

• GGSA はスライディングウィンドウアプローチを用いて局所的グループを定義し、質問および回答内における局所的およびグローバルな依存関係を別々にモデル化するグループ自己注意を採用する。
• グローバル情報ゲートを導入し、最終的な表現へのグローバル文脈の統合を動的に制御することで、長距離依存関係のモデリングを強化する。
• 残差ベースの相互作用メカニズムを用い、質問に適応した残差を計算し、それを回答表現に加算することで、回答が関連する質問の内容に注目できるようにする。
• マルチヘッド自己注意に残差接続を組み合わせたアーキテクチャを採用し、Transformer をインspired にしたが、局所的・グローバル的区別を明確にした構造に適合させた。
• ランキングのための固定サイズの表現を得るために、GGSA の後に max-pooling を適用し、学習にペairwise およびポイントワイズの損失関数を評価する。
• モデルは、2つの公開 QA データセット上でエンドツーエンドに訓練され、構成要素の寄与を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのモデルは、既存の RNN や CNN ベースのモデルを上回る性能を回答選択タスクで達成できるか？
• RQ2 自己注意において局所的およびグローバルな文脈を区別することで、回答選択の性能と効率性が向上するか？
• RQ3 質問と回答の間の残差ベースの相互作用メカニズムは、回答表現学習を向上させるか？
• RQ4 GGSA はグローバル自己注意や他の最先端モデルと比較して、性能と計算コストの両面で優れているか？
• RQ5 ペアワイズ損失関数とポイントワイズ損失関数のどちらが、GGSA における回答選択でより良い結果をもたらすか？

主な発見

• GGSA はペアワイズ損失を用いて Yahoo!QA データセットで P@1 スコア 78.45% を達成し、最先端の結果を記録した。
• 同じデータセットにおいて、ペアワイズ損失を用いた GGSA はポイントワイズ損失バージョンを上回り、P@1 は 78.45%（対象：74.26%）で高く、MRR は 85.07%（対象：86.28%）でやや劣るが、トレードオフ関係にある。
• GGSA はグローバル自己注意を上回る高い精度を達成しながらも、計算コストを低減しており、効率性と有効性の両面で優れている。
• アブレーションスタディにより、グループ自己注意および残差相互作用メカニズムの両方が性能向上に顕著な寄与をしていることが確認された。
• ペアワイズ損失関数は P@1 でより良い性能を示したが、ポイントワイズ損失関数は MRR で優れており、ランキング指標にトレードオフがあることが示された。
• GGSA は、回答選択に特化した最初の自己注意ベースのモデルであり、2つの標準データセットで新しい最先端のベンチマークを確立した。