[論文レビュー] U-Net: Machine Reading Comprehension with Unanswerable Questions

Sun Fu, Linyang Li+2 more|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 29被引用数 37

ひとこと要約

この論文では、回答不能な質問を伴う機械読解のための統合的エンドツーエンドモデルであるU-Netを提案する。アンサー・ポインタ、ノー・アンサー・ポインタ、アンサー検証器を統合的に統合するユニバーサル・ノードによって、質問と本文の表現を統合する。モデルはSQuAD 2.0でF1スコア72.6を達成し、パイプライン的手法よりも優れた性能を示す。これは、単一で簡潔なアーキテクチャ内で、回答可能性とスパン予測を共同で学習することで実現された。

ABSTRACT

Machine reading comprehension with unanswerable questions is a new challenging task for natural language processing. A key subtask is to reliably predict whether the question is unanswerable. In this paper, we propose a unified model, called U-Net, with three important components: answer pointer, no-answer pointer, and answer verifier. We introduce a universal node and thus process the question and its context passage as a single contiguous sequence of tokens. The universal node encodes the fused information from both the question and passage, and plays an important role to predict whether the question is answerable and also greatly improves the conciseness of the U-Net. Different from the state-of-art pipeline models, U-Net can be learned in an end-to-end fashion. The experimental results on the SQuAD 2.0 dataset show that U-Net can effectively predict the unanswerability of questions and achieves an F1 score of 71.7 on SQuAD 2.0.

研究の動機と目的

• 機械読解における回答不能な質問を信頼性高く検出する課題に対処すること。
• 回答ポインタとアンサーバリデータタを別々に学習するパイプラインモデルの制限を克服すること。
• アンサーレンジ予測、ノー・アンサー検出、アンサー検証を1つのエンドツーエンドフレームワークに統合すること。
• 質問-本文の統合情報を符号化するユニバーサル・ノードを導入することで、モデルの簡潔さとパフォーマンスを向上させること。
• 共有表現を用いて関連する複数のサブタスクを共同で学習することで、SQuAD 2.0における強力なパフォーマンスを達成すること。

提案手法

• モデルは質問と本文を1つの連続するトークン列として処理し、質問-本文表現を統合するためのユニバーサル・ノードを挿入する。
• BiLSTMが統合された入力系列を符号化し、質問と本文の両方の文脈的依存関係を捉える。
• マルチレベルのアテンション機構により、質問と本文の表現間の相互作用を可能にし、特徴の学習を強化する。
• 最終的な統合層が符号化済みおよびアテンション処理済みの表現を組み合わせ、マルチタスク予測を実行する。
• 3つの予測ヘッドを用いる：アンサーレンジの境界を予測する（アンサー・ポインタ）、ノー・アンサー予測を行う（ノー・アンサー・ポインタ）、回答不能性を分類する（アンサー検証器）。
• エンコーディングおよび相互作用層をサブタスク間で共有するマルチタスク学習目的関数を用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン的手法よりも、統合的モデルが、アンサーレンジと回答不能性の両方をより効果的に同時に予測できるか？
• RQ2 質問と本文の表現を統合するユニバーサル・ノードを導入することで、モデルのパフォーマンスと簡潔さがどの程度向上するか？
• RQ3 アンサー・ポインタ、ノー・アンサー・ポインタ、アンサー検証器のマルチタスク学習が、回答不能な質問に対する全体のMRCパフォーマンスをどの程度向上できるか？
• RQ4 統合アーキテクチャをエンドツーエンドで学習することで、アンサーレジョン予測と回答可能性分類のコンponentを別々に学習するのと比べて、性能が向上するか？
• RQ5 回答不能性予測の閾値を変更すると、モデルのパフォーマンスはどのように変化するか？

主な発見

• U-NetはSQuAD 2.0のテストセットでF1スコア72.6を達成し、回答可能・回答不能な質問の両方で優れたパフォーマンスを示した。
• モデルは、エンドツーエンドで回答可能性とスパン予測を共同学習することで、従来のパイプライン的手法を上回った。
• ユニバーサル・ノードは、質問と本文の統合表現を可能にすることで、モデルの簡潔さとパフォーマンスを顕著に向上させた。
• アンサーバリデータタ・コンponentは、候補となるアンサー情報と組み合わせることで、回答不能性の確率を効果的に捉えた。
• 回答不能性の閾値を上げることで、回答不能な質問のパフォーマンスが向上したが、回答可能な質問ではわずかに劣化した。これは、トレードオフが適切に管理されていることを確認した。
• モデルは実装が簡単で、汎化性能が高く、今後の研究では自己アテンション機構を統合することで強化することを目的としている。