[論文レビュー] A Joint Model for Question Answering and Question Generation

Tong Wang, Xingdi Yuan+1 more|arXiv (Cornell University)|Jun 5, 2017

Topic Modeling参考文献 31被引用数 82

ひとこと要約

この論文は、文書から質問をしたり回答したりを同時に学習するジョイントのシーケンス-toシーケンスモデルを提示し、SQuADのQA性能を向上させ、抽象的な回答を可能にする。

ABSTRACT

We propose a generative machine comprehension model that learns jointly to ask and answer questions based on documents. The proposed model uses a sequence-to-sequence framework that encodes the document and generates a question (answer) given an answer (question). Significant improvement in model performance is observed empirically on the SQuAD corpus, confirming our hypothesis that the model benefits from jointly learning to perform both tasks. We believe the joint model's novelty offers a new perspective on machine comprehension beyond architectural engineering, and serves as a first step towards autonomous information seeking.

研究の動機と目的

• QAと質問生成が互いに影響し合う多タスク設定を動機づけ、分析する。
• 互いに条件づけされた質問と回答を生成できる、統一された注意機構ベースのシーケンス-to-シーケンスモデルを開発する。
• ジョイント学習がSQuADにおけるQA精度と質問生成品質を向上させるかを評価する。

提案手法

• 文書からのコピーと語彙生成の間を切り替えるためのポインタソフトマックスデコーダを備えた、注意機構を持つシーケンス-to-シーケンスモデルを用いる。
• 文書と条件列（回答生成のための質問；質問生成のための回答）をBiLSTMでエンコードし、抽出的条件ベクトルを抽出する。
• 同一モデルに対してQAとQGデータを交互に用いるジョイント訓練を実装する。
• 回答生成ターゲットと質問生成ターゲットをシーケンスとして表現し、訓練時にティーチャーフォースを適用する。
• QAにはF1とExact Matchを、質問にはBLEU-4を用いて評価し、生成された質問に対してパープレックスや QA F1 などの追加指標も用いる。

実験結果

リサーチクエスチョン

• RQ1 QAと質問生成のジョイント学習はSQuADにおけるQA性能を向上させるか？
• RQ2 モデルは高品質な質問を生成でき、逆にQA精度を支える抽象的な回答を生成することもできるか？
• RQ3 QAとQGタスクにおける抽出と抽象化の観点で共有表現の影響はどのようなものか？

主な発見

• ジョイント学習はQAのみのモデルに対して、SQuADでF1とEMを約10ポイント改善する。
• ジョイントモデルは部分的に抽象的な回答生成を可能にし、質問生成品質を競争力のある水準に維持する。
• 単一タスクモデルが最も性能が低い回答タイプでとくに顕著に表れる。
• モデルの質問生成BLEU-4と回答生成BLEU-4の指標は競争力のある結果を示しており、自動指標は人間評価を完全には捉えきれていない。
• ジョイントモデルのQA性能は特化型のmLSTM QAモデルには及ばないが、質問を生成できるという独自の能力を提供する。