[論文レビュー] Weaver: Deep Co-Encoding of Questions and Documents for Machine Reading

Martin Raison, Pierre-Emmanuel Mazaré+2 more|arXiv (Cornell University)|Apr 27, 2018

Topic Modeling参考文献 34被引用数 18

ひとこと要約

Weaverは、注意メカニズムに依存せずに、スタックされた織りこまれた双方向LSTMを用いて質問と文書を同時に共同符号化する深層共同符号化モデルを提案する。SQuAD（25件の検索文書を用いて42.3 EM）で最先端の性能を達成し、bAbIタスクの18問中17問を解決し、検索が不完全で文脈が長大または断片的なオープンドメイン質問応答においても顕著に優れた性能を発揮する。これは、エンドツーエンド学習によって文脈的表現と質問表現を共同で学習することで実現される。

ABSTRACT

This paper aims at improving how machines can answer questions directly from text, with the focus of having models that can answer correctly multiple types of questions and from various types of texts, documents or even from large collections of them. To that end, we introduce the Weaver model that uses a new way to relate a question to a textual context by weaving layers of recurrent networks, with the goal of making as few assumptions as possible as to how the information from both question and context should be combined to form the answer. We show empirically on six datasets that Weaver performs well in multiple conditions. For instance, it produces solid results on the very popular SQuAD dataset (Rajpurkar et al., 2016), solves almost all bAbI tasks (Weston et al., 2015) and greatly outperforms state-of-the-art methods for open domain question answering from text (Chen et al., 2017).

研究の動機と目的

• 多様な質問タイプや長文書を扱えるより強固で汎用的な機械的読解モデルの開発。
• 注目メカニズムへの依存を減らすために、新規の再帰的アーキテクチャを用いて質問と文脈を共同符号化する。
• 検索が不完全で文脈が長大または断片的であるオープンドメイン質問応答における性能向上。
• 文書に存在しない語（OoV語）を含むような、文脈に正確に一致しない答えの生成を可能にする。
• 複数の文書を扱うパイプラインシステムにおけるエンドツーエンド性能の向上を図り、複数文書にわたる読解部の精度を向上させる。

提案手法

• Weaverは、双方向LSTMのスタックされた織りこまれたアーキテクチャを用い、質問と文書を同時に共同符号化することで、それらの表現同士の深い相互接続を学習する。
• 注目メカニズムに代わり、階層的で共同符号化構造を採用し、質問と文脈表現の共同学習を可能にする。
• メモリネットワークを模倣した回答層が、共同符号化表現に対してホップベースの推論を実行し、答えのスパンを予測する。
• スパンベースの質問応答のエンドツーエンド学習を実施し、正確一致（EM）とF1スコアを最適化する損失関数を用いる。
• アブレーションスタディの結果、RNNベースの共同符号化が性能向上の主因であり、畳み込みやメモリネットワークなどの補助的要素ではないことが確認された。
• CuratedTREC、WebQuestions、WikiMoviesなどの下流データセットで微調整することで、新規ドメインへの適応を図る。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムに依存しない、再帰的ネットワークにのみ基づく共同符号化モデルが、機械的読解において注目ベースのモデルを上回ることができるか？
• RQ2 オープンドメイン質問応答において、検索された文書数が増加するにつれて、共同符号化モデルの性能はどのように変化するか？
• RQ3 SQuADで学習した読解モデルが、bAbI、WikiHop、CuratedTRECといった多様なデータセットに一般化し、ベースラインを上回ることができるか？
• RQ4 注目メカニズムを削除することでモデル性能にどのような影響が生じるか。また、共同符号化はその影響を補えるか？
• RQ5 文書に正確に一致しない答え（例：文書に存在しない語）を生成できるか？

主な発見

• 25件の検索されたWikipedia記事を用いたSQuADデータセットで、Weaverは42.3 EMを達成し、以前に報告された最高性能より12ポイント以上も向上した。
• bAbIタスクの18問中17問を解決し、多様な推論スキルにわたる強力な一般化能力を示した。
• WikiHopデータセットでは最先端の結果を達成し、複数ホップの推論や短い文脈断片に対しても頑健であることが確認された。
• アブレーションスタディでは、織りこまれたRNNレイヤーを削除するとF1が33.0に低下し、共同符号化機構が性能向上の主因であることが裏付けられた。
• CuratedTRECで微調整した結果、以前の最先端性能より6.6 EMも向上し、微調整済みモデルで43.8 EMに到達した。
• 検索文書数が25件に増加しても、Weaverは強い性能を維持したが、DrQAは10件で性能が頭打ちになるのに対し、その点で優位性を示した。