[論文レビュー] Query-based Attention CNN for Text Similarity Map

Tzu-Chien Liu, Yu-Hsueh Wu+1 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling参考文献 7被引用数 7

ひとこと要約

本論文は、2段階のCNNアーキテクチャとクエリベースのアテンションを用いて、テキスト類似度マッチングを向上させるエンドツーエンドのニューラルネットワークであるクエリベースアテンションCNN（QACNN）を提案する。単語レベルおよび文レベルのアテンションメカニズムを統合することで、QACNNはMovieQAデータセットで79.99％の精度を達成し、新たな最先端の結果を樹立した。

ABSTRACT

In this paper, we introduce Query-based Attention CNN(QACNN) for Text Similarity Map, an end-to-end neural network for question answering. This network is composed of compare mechanism, two-staged CNN architecture with attention mechanism, and a prediction layer. First, the compare mechanism compares between the given passage, query, and multiple answer choices to build similarity maps. Then, the two-staged CNN architecture extracts features through word-level and sentence-level. At the same time, attention mechanism helps CNN focus more on the important part of the passage based on the query information. Finally, the prediction layer find out the most possible answer choice. We conduct this model on the MovieQA dataset using Plot Synopses only, and achieve 79.99% accuracy which is the state of the art on the dataset.

研究の動機と目的

• 既存の比較集約フレームワークの、パassageとクエリのマッチングにおける制限を克服するため、アテンションメカニズムを統合すること。
• 2段階のCNNアーキテクチャを用いて、単語レベルおよび文レベルの複数のレベルでの特徴抽出を向上させること。
• クエリコンテキストに基づいて、パassageの意味的に関連する部分に注目することで、モデルのパフォーマンスを向上させること。
• 複数選択形式のQAにおけるMovieQAデータセットで最先端の結果を達成すること。

提案手法

• モデルは、事前学習済みのGloVe埋め込みを用いて、パassage、クエリ、および選択肢を単語ベクトルに変換する埋め込み層を使用する。
• 類似度マッピング層は、パassageの文とクエリ間のコサイン類似度、およびパassageの文と各選択肢間の類似度を計算し、2次元および3次元の類似度マップを生成する。
• 2段階のCNNアーキテクチャは、まずパassage-クエリおよびパassage-選択肢の類似度マップに対して畳み込み層を用いて単語レベルのマッチングを実行し、その後、プーリングされた特徴量に対して文レベルのマッチングを実行する。
• クエリベースのアテンションは、単語レベルおよび文レベルの両方で適用され、パassage-クエリ類似度マップを用いて、関連する単語および文を強調するアテンション重みを生成する。
• パassage-選択肢マッチングのアテンション重み付き特徴量は、予測層に渡され、最も可能性の高い選択肢が選ばれる。
• モデルは、MovieQAデータセット上でエンドツーエンドに訓練され、入力としてプロット要約のみが使用される。

実験結果

リサーチクエスチョン

• RQ1 2段階のCNNアーキテクチャは、複数選択形式のQAにおけるテキストマッチングの特徴抽出を向上させることができるか？
• RQ2 単語レベルおよび文レベルの両方でクエリベースのアテンションを適用することで、モデルのパassage内での関連情報の特定能力が向上するか？
• RQ3 アテンションメカニズムの統合は、受動的集約アプローチと比較してパフォーマンスにどのように影響するか？
• RQ4 プロット要約のみを入力として使用した場合、モデルはMovieQAベンチマークで最先端のパフォーマンスを達成できるか？

主な発見

• QACNNは、MovieQAテストセットで79.99％の精度を達成し、同データセットにおける新たな最先端の結果を樹立した。
• 2段階のCNNアーキテクチャは、1段階バージョン（バリデーションセットで66.8％の精度）を著しく上回った。
• アブレーションスタディの結果、両方のアテンションメカニズムを削除すると精度が69.6％に低下し、アテンションがモデル効果性にとって不可欠であることが示された。
• 文レベルのアテンションは単語レベルのアテンションよりも寄与度が高く、文レベルのアテンションのみを用いたQACNNは75.1％の精度を達成したのに対し、単語レベルのアテンションのみでは72.5％であった。
• 可視化により、文レベルのアテンションマップが正解を含む文を正しく特定していることが確認され、単語レベルのアテンションはその文の末尾のキーワードに注目していることがわかった。
• また、モデルはMCTestデータセットでも優れたパフォーマンスを示し、MC160では68.1％、MC500では61.5％の精度を達成し、ベースラインモデルを上回った。