[論文レビュー] Assessing Factoid Question-Answer Generation for Portuguese (Short Paper)

Ferreira, João, Rodrigues, Ricardo+1 more|arXiv (Cornell University)|May 4, 2017

Topic Modeling参考文献 31被引用数 52

ひとこと要約

本稿では、文書と事前定義された答えを入力として、factoid質問を生成するためのsequence-to-sequenceニューラルモデルを提案する。アテンションとポインタ-ソフトマックス機構を組み合わせ、最大尤度学習に加えて、文の自然さ（パープレキシティ）、回答可能性（QAモデル性能）、および両者のハイブリッドを評価指標とした方策勾配最適化を用いる。その結果、方策勾配微調整により、ベースラインモデルに比べて特に回答可能性の面で質問の品質が顕著に向上することが示された。

ABSTRACT

We propose a recurrent neural model that generates natural-language questions from documents, conditioned on answers. We show how to train the model using a combination of supervised and reinforcement learning. After teacher forcing for standard maximum likelihood training, we fine-tune the model using policy gradient techniques to maximize several rewards that measure question quality. Most notably, one of these rewards is the performance of a question-answering system. We motivate question generation as a means to improve the performance of question answering systems. Our model is trained and evaluated on the recent question-answering dataset SQuAD.

研究の動機と目的

• 文書と答えを条件として、自然言語の質問を生成するエンドツーエンドのテキスト対テキストニューラルモデルの開発。
• タスク固有の報酬を用いた強化学習を組み込むことで、最大尤度学習にとどまらない質問品質の向上。
• 自然さ（PPL）、回答可能性（QA）、および両者のハイブリッド（RPPL + QA）といった異なる報酬の組み合わせが生成された質問の品質に与える影響の評価。
• 下流のQAモデルの性能を報酬として用いることで、生成された質問が自然かつ回答可能である確率が向上するかの検証。
• ニューラル質問生成における自然さ、的を射撃する明確さ、抽象化のトレードオフを調査。

提案手法

• 文書と答えのそれぞれに別々のエンコーダを備えたエンコーダデコーダアーキテクチャを採用し、関連するコンテキストをアテンション機構で一致させる。
• ドキュメントや答えから単語をコピーするポインタ-ソフトマックス機構を採用し、固有語やキーワードの生成を向上させる。
• SQuADデータセットの（文書, あいだ, 質問）三つ組みを用いて、教師強制による最大尤度推定でモデルを学習する。
• 方策勾配（REINFORCEスタイル）最適化を用いて微調整し、言語モデルのパープレキシティ（PPL）、QAシステムの正答率（QA）、および重み付き組み合わせ（RPPL + QA）という補助報酬を最大化する。
• 過学習を防ぐために、方策勾配学習中にエントロピー正則化とドロップアウトを適用する。
• 自動指標（BLEU、F1、PPL）と人間による評価を用いて生成された質問を評価し、質問の明確さと自然さに関する定性的分析も実施。

実験結果

リサーチクエスチョン

• RQ1 文書と事前定義された答えを条件として、ニューラルsequence-to-sequenceモデルは高品質なfactoid質問を生成できるか？
• RQ2 最大尤度学習と方策勾配最適化を組み合わせることで、標準的な教師あり学習に比べて質問生成の品質がどのように向上するか？
• RQ3 自然さ（PPL）、回答可能性（QA）、または両者の組み合わせといった異なる報酬関数が、生成された質問の明確さ、自然さ、回答可能性にどの程度影響を与えるか？
• RQ4 下流のQAモデルの性能を報酬として用いることで、既存のQAシステムが正しく回答できる可能性の高い質問を生成できるようになるか？
• RQ5 ニューラル質問生成における自然さ、的を射撃する明確さ、抽象化のトレードオフは何か。また、それらをどのようにバランスさせるか？

主な発見

• QA報酬（RQA）を用いた方策勾配学習により、改善されたSeq2Seqベースラインに比べて質問の回答可能性が8.9%向上し、回答可能性向上の顕著な恩恵が得られた。
• RQA学習方式ではテストセットで73.7%のQAスコアを達成し、正解質問に対するモデルの73.2%の正答率をわずかに上回った。これは、生成器がQAモデルの回答パターンを学習し、利用している可能性を示唆している。
• ハイブリッド学習方式（RPPL + QA）は自然さと回答可能性の両面で最良のバランスを達成し、最大尤度ベースラインに比べて回答可能性が大幅に向上するとともに、PPL性能の一部回復も達成した。
• RQA設定下で生成された質問は、パープレキシティが高いため（例：ベースラインの114対RQAの405）、自然さに劣っていることが示され、回答可能性と自然さのトレードオフが確認された。
• モデルは「what」や「when」などの疑問語を文末に配置するパターンを学習しており、これは訓練データに類似するためQAマッチングを向上させるが、自然さを損なう可能性がある。
• 高いBLEUスコアにもかかわらず、モデルは抽象化に苦労し、入力との単語オーバーラップが高くなる傾向にあり、表面的な再配置を超えた再表現や推論能力に欠けていることが示された。