[論文レビュー] Learning to Ask: Neural Question Generation for Reading Comprehension

Xinya Du, Junru Shao+1 more|arXiv (Cornell University)|Apr 29, 2017

Topic Modeling参考文献 22被引用数 111

ひとこと要約

この論文は、文（およびオプションとして段落）から自然で有益な質問を生成するための、注意機構を備えたエンドツーエンドのニューラルシーケンス対 seq2seq モデルを提案し、SQuADに対するベースラインと比較して最先端の結果を達成した。

ABSTRACT

We study automatic question generation for sentences from text passages in reading comprehension. We introduce an attention-based sequence learning model for the task and investigate the effect of encoding sentence- vs. paragraph-level information. In contrast to all previous work, our model does not rely on hand-crafted rules or a sophisticated NLP pipeline; it is instead trainable end-to-end via sequence-to-sequence learning. Automatic evaluation results show that our system significantly outperforms the state-of-the-art rule-based system. In human evaluations, questions generated by our system are also rated as being more natural (i.e., grammaticality, fluency) and as more difficult to answer (in terms of syntactic and lexical divergence from the original text and reasoning needed to answer).

研究の動機と目的

• 自動質問生成を動機づけ、読解支援とデータセット作成を支援する。
• QGのための手作りルールに依存しないエンドツーエンドのニューラルモデルを開発する。
• 質問生成における文レベルと段落レベルのエンコーディングを比較検討する。
• 自動評価指標と人間の判定を用いてモデルをベースラインと比較評価する。

提案手法

• P(y|x)をモデル化するグローバルアテンション機構を持つ注意機構付きエンコーダ-デコーダを使用する。
• 2つのバリエーションを実装: 文レベルのエンコーディングと文+段落レベルのエンコーディング（Y字型ネットワーク）。
• 文を双方向LSTMでエンコードし、デコード用のアテンションベースのコンテキストベクトルを計算する。
• 任意で段落を切り詰めて別の双方向LSTMでエンコードし、その表現をデコーダ初期化のために結合する。
• 教師方策付きネガティブ対数尤度を最小化して訓練し、ビーム探索でデコードし、アテンションを用いた簡易UNK置換を行う。

実験結果

リサーチクエスチョン

• RQ1 完全にデータ駆動のニューラルQGモデルは読解データ上でルールベースやSMTベースのベースラインを上回れるか？
• RQ2 段落情報を取り入れることで文のみのエンコーディングと比較して質問生成品質が改善されるか？
• RQ3 事前学習済み埋め込みはこのQG設定での生成品質にどのような影響を与えるか？
• RQ4 SQuAD由来データに対するエンドツーエンドのニューラルQGと過剰生成→ランク付けのベースラインの相対性能はどうか？

主な発見

モデル	BLEU-1	BLEU-2	BLEU-3	BLEU-4	METEOR	ROUGE-L
IR BM25	5.18	0.91	0.28	0.12	4.57	9.16
IR Edit Distance	18.28	5.48	2.26	1.06	7.73	20.77
MOSES+	15.61	3.64	1.00	0.30	10.47	17.82
DirectIn	31.71	21.18	15.11	11.20	14.95	22.47
H&S	38.50	22.80	15.52	11.18	15.95	30.98
Vanilla seq2seq	31.34	13.79	7.36	4.26	9.88	29.75
Our model (no pre-trained)	41.00	23.78	15.71	10.80	15.17	37.95
Our model (w/ pre-trained)	43.09	25.96	17.50	12.28	16.62	39.75
+ paragraph	42.54	25.33	16.98	11.86	16.28	39.37

• 文のみのモデル（事前学習済み埋め込みを使用）で自動指標全般の best performance を達成。
• 段落情報は一般的に段落カテゴリの質問で有効だがノイズを招く場合があり、全体の指標を低下させることがある。
• 提案されたニューラルモデルはBLEU、METEOR、ROUGE-L指標でIR、MOSES+、H&Sのベースラインを上回る。
• 人間評価者はニューラルモデル由来の質問をH&Sシステムより自然で答えづらいと評価し、全体的なランキングはニューラルモデルを支持した。
• 事前学習済み埋め込みを追加することで性能が向上し、段落情報のエンコーディングは質問タイプに応じて混合した結果となる。