[論文レビュー] Neural Question Generation from Text: A Preliminary Study

Qingyu Zhou, Nan Yang+4 more|arXiv (Cornell University)|Apr 6, 2017

Topic Modeling参考文献 16被引用数 36

ひとこと要約

本稿では、文脈から意味的に的を射た質問を自然に生成するためのニューラル質問生成（NQG）フレームワークを提案する。このモデルは、答えの位置、品詞（POS）、固有表現認識（NER）の特徴を組み込んだ双方向GRUエンコーダーを用いる。SQuADデータセット上で実験した結果、モデルは多様で高品質な質問を生成し、人間評価において関連性と一貫性の平均スコア2.18を記録し、ルールベースのベースラインを上回った。

ABSTRACT

Automatic question generation aims to generate questions from a text passage where the generated questions can be answered by certain sub-spans of the given passage. Traditional methods mainly use rigid heuristic rules to transform a sentence into related questions. In this work, we propose to apply the neural encoder-decoder model to generate meaningful and diverse questions from natural language sentences. The encoder reads the input text and the answer position, to produce an answer-aware input representation, which is fed to the decoder to generate an answer focused question. We conduct a preliminary study on neural question generation from text with the SQuAD dataset, and the experiment results show that our method can produce fluent and diverse questions.

研究の動機と目的

• 手動で作成されたヒューリスティックなルールに依存せずに、自然言語テキストから自然な質問を生成するためのニューラルシーケンス・ツー・シーケンスモデルの開発。
• エンコーダーに答えの位置、品詞（POS）、固有表現認識（NER）の特徴を組み込むことで、生成された質問の関連性と多様性を向上させる。
• SQuADデータセットを、ニューラル質問生成モデルの学習と評価に適応させる。
• 自動評価と人間評価の指標を用いて、ニューラル質問生成の有効性を評価する。
• 今後の研究において、自動生成された質問が質問・回答システムの向上にどのように寄与できるかを検討する。

提案手法

• モデルは、入力語、答えの位置（BIOタギングによる表現）、品詞（POS）タグ、固有表現認識（NER）タグを特徴として入力する双方向GRUエンコーダーを用いる。
• 答えの位置は、B（開始）、I（継続）、O（非答えトークン）を用いたBIOタギング方式で符号化され、埋め込み表現がエンコーダーに供給される。
• 語のキャップタイピング、品詞（POS）、固有表現認識（NER）タグなどの語彙的特徴は埋め込み表現に変換され、語ベクトルと連結されて文の表現を豊かにする。
• デコーダーは、エンコーダーの隠れ状態に注目するアテンション機構を採用し、最後のバックワード隠れ状態を初期デコーダー状態として使用する。
• 各デコーディングステップでのコンテキストベクトルは、連結アテンション機構により計算され、デコーダー状態とエンコーダー状態を対応付けることで、関連する入力スパンに注目する。
• モデルはSQuADデータセット上でエンドツーエンドに学習され、指定されたスパンに対して答えに焦点を当てた質問を生成するように訓練される。

実験結果

リサーチクエスチョン

• RQ1 手動で作成されたルールに依存せずに、ニューラルシーケンス・ツー・シーケンスモデルが自然言語テキストから自然で多様な質問を生成できるか？
• RQ2 答えの位置、品詞（POS）、固有表現認識（NER）の特徴を組み込むことで、生成された質問の関連性がどの程度向上するか？
• RQ3 NQGモデルが、さまざまな質問タイプにおいて、ゴールスタンダードの質問と比較して正確性（精度）と再現率の両面でどの程度の一致を達成できるか？
• RQ4 人間評価において、ニューラルNQGモデルはルールベースのベースラインと比較して、質問の質と関連性の面で優れているか？
• RQ5 特定の構成要素（例：答えの位置特徴）が、質問生成システム全体の性能に及ぼす影響は何か？

主な発見

• NQG++モデルは人間評価で2.18のスコアを記録し、PCFG-Transベースライン（1.42）を顕著に上回り、生成された質問の関連性と一貫性の高さが示された。
• 2つのモデルのFleiss’ kappaスコアがそれぞれ0.50と0.46であったことから、人間評価の間該有性は中程度の水準であり、評価の信頼性が裏付けられた。
• アブレーションスタディの結果、答えの位置特徴を削除すると性能が著しく低下し、この特徴が答えに焦点を当てた生成において極めて重要な役割を果たしていることが確認された。
• 語のキャップタイピング、品詞（POS）、固有表現認識（NER）特徴のアブレーション分析から、それぞれが質問生成の質の向上に正の寄与をしていることが示された。
• 主な質問タイプ（WHAT, HOW, WHO, WHEN）では、高い精度と再現率を達成したが、WHICHおよびWHYタイプでは、学習データの頻度が低く、表現の曖昧さのため、性能が低かった。
• 事例研究により、モデルが入力から答えスパンを正しくコピーし、文法的に正しい、文脈に適した多様な質問タイプに対応した質問を生成できることを確認した。