[論文レビュー] Improving Neural Question Generation using Answer Separation

Yanghoon Kim, Hwanhee Lee+2 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 22被引用数 10

ひとこと要約

本稿では、入力文の目的となる答えを特別なトークン <a> に置き換えることで、生成される質問に答えの語が含まれるのを防ぐ、答え分離型seq2seqという新しいニューラル質問生成モデルを提案する。このアプローチにより、モデルは答えそのものを含まない質問を生成可能となり、質問の品質が向上する。答えの情報と入力を分離し、キーワードネットモジュールを導入することで、不適切な質問の発生が顕著に減少し、SQuADベンチマークにおいても最先端のモデルを上回る性能を示した。特に、単一名詞エンティティの答えを含むサブセットにおいて、EMが49.09、F1が56.57を達成した。

ABSTRACT

Neural question generation (NQG) is the task of generating a question from a given passage with deep neural networks. Previous NQG models suffer from a problem that a significant proportion of the generated questions include words in the question target, resulting in the generation of unintended questions. In this paper, we propose answer-separated seq2seq, which better utilizes the information from both the passage and the target answer. By replacing the target answer in the original passage with a special token, our model learns to identify which interrogative word should be used. We also propose a new module termed keyword-net, which helps the model better capture the key information in the target answer and generate an appropriate question. Experimental results demonstrate that our answer separation method significantly reduces the number of improper questions which include answers. Consequently, our model significantly outperforms previous state-of-the-art NQG models.

研究の動機と目的

• ニューラル質問生成（NQG）モデルが、目的の答えの語を不適切に含む質問を生成する問題に対処すること。
• マスクされた文から得られる文脈的手がかりを活用することで、モデルが適切な疑問詞（例：誰、いつ）を正確に予測できるようにすること。
• 文から答えが削除された状態でも、その内容を把握できるようにキーワードネットモジュールを導入することで、目的の答えに対する認識を高めること。
• 答え分離の有効性が、答えの漏洩を低減させ、質問の関連性と自然さを向上させるかどうかを評価すること。
• 生成された質問が、下流の機械理解システムの事前学習に有効に利用可能であることを実証すること。

提案手法

• 入力文の目的となる答えを特別なトークン <a> に置き換えることで、直接的な語の漏洩を防ぐ。
• <a> トークンを取り巻く文脈的依存関係を学習できるように、RNNエンコーダを用いてマスクされた文を処理する。
• 分離された目的の答えからキーワードを抽出するキーワードネットモジュールを導入し、答えの内容を把握したままに保つ。
• 質問生成時に意味的関係をよりよく捉えるために、リtrieーブ型の語生成器を採用する。
• SQuADデータセットを用い、答え分離された入力を用いて、(文書, 質問, 答え)の三つ組をエンドツーエンドで学習する。
• 自動評価指標（EM, F1）と、下流の機械理解システムへの転移評価を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 答え分離は、生成された質問に目的の答えの語が含まれるのを減少させるか？
• RQ2 マスクされた文と <a> トークンだけを用いて、モデルは適切な疑問詞（例：誰、いつ）を正確に予測できるか？
• RQ3 キーワードネットモジュールは、答えの位置特徴に依存するモデルと比較して、質問生成の品質をどの程度向上させるか？
• RQ4 本稿で提案するモデルが生成する質問は、どの程度機械理解システムの事前学習に有効に利用できるか？
• RQ5 答え分離は、<a> トークンと疑問詞との間の注目配分を改善するか？

主な発見

• 提案された答え分離型seq2seqモデルは、生成された質問に答えの語が含まれる頻度を顕著に低下させ、不適切な質問生成を最小限に抑える。
• 合成データから学習したモデルを用いて、単一名詞エンティティの答えを含むSQuAD開発セットのサブセットにおいて、EMが49.09、F1が56.57を達成した。
• 注目可視化の結果、'who' などの疑問詞が <a> トークンに高い注目重みを持つことが確認され、モデルが <a> を質問の種類と関連付ける能力を学習していることが示された。
• キーワードネットモジュールにより、答えが文から削除された状態でも、その内容を把握したままに保てるようになり、モデルの性能が向上した。
• SQuADデータセットにおいて、従来の最先端NQGモデルを上回る性能を示し、質問の品質と一般化性能に優れた。
• 生成された質問は自然で流暢であり、下流の機械理解システムを十分に事前学習させ、妥当な性能にまで到達できることが確認された。