[論文レビュー] Recent Advances in Neural Question Generation

Liangming Pan, Wenqiang Lei+2 more|arXiv (Cornell University)|May 22, 2019

Topic Modeling参考文献 74被引用数 83

ひとこと要約

本論文はニューラル質問生成（NQG）を概観し、学習パラダイム、入力モダリティ、認知レベルを詳述し、コーパス、評価、手法、およびマルチタスク学習、より広い入力、深い質問といった新たな動向を論じる。

ABSTRACT

Emerging research in Neural Question Generation (NQG) has started to integrate a larger variety of inputs, and generating questions requiring higher levels of cognition. These trends point to NQG as a bellwether for NLP, about how human intelligence embodies the skills of curiosity and integration. We present a comprehensive survey of neural question generation, examining the corpora, methodologies, and evaluation methods. From this, we elaborate on what we see as emerging on NQG's trend: in terms of the learning paradigms, input modalities, and cognitive levels considered by NQG. We end by pointing out the potential directions ahead.

研究の動機と目的

• NQGにおける学習パラダイムの進化と、ニューラルモデルがどのようにコンテンツ選択と質問生成を共同で学習するかを評価する。
• 純粋なテキストを超えたNQGで用いられる入力モダリティの多様性（例: 知識ベース(KB)、画像）とパフォーマンスへの影響を調査する。
• NQGの評価指標を分析し、自動指標と人間の判断とのギャップを特定する。
• NQGで用いられる共通のニューラルアーキテクチャと構成要素（注意機構を含むSeq2Seq、コピー機構、ポリシー勾配）を要約し、その有効性を示す。
• 深い問いやクロスタスクの利点を含む新たな傾向と将来の方向性を強調する。

提案手法

• 入力Xと任意の回答Aを用いたNQGのSeq2Seq定式化を説明する。
• 回答エンコーディング戦略と回答位置指示子の使用や別個のエンコーダの使用を説明する。
• 質問語生成機構とそれが質問のタイプにどう関連するかを論じる。
• ゲート付き自己注意などを用いた段落レベルの文脈の組み込みを分析する。
• コンテンツ非依存のNQG（コンテンツ選択）アプローチとその課題の概要を示す。
• 共通のNLG技術（コピー機構、言語的特徴、ポリシー勾配）とSQuADでの報告パフォーマンスを要約する。

実験結果

リサーチクエスチョン

• RQ1 NQGをベンチマークする際にどのデータセットと認知レベルが用いられ、それが性能にどう影響するか？
• RQ2 学習パラダイムと入力モダリティが生成される質問の品質と深さにどう影響するか？
• RQ3 標準的なベンチマークで最高の性能を示すニューラルアーキテクチャと構成要素（例:回答エンコーディング、コピー、段落文脈）は何か？
• RQ4 NQGはどの程度深い（Bloomの分類の上位レベル）質問を生成できるか、障壁は何か？
• RQ5 NQGの評価指標のギャップは何で、どのように改善できるか？

主な発見

モデル	BLEU-4	METEOR	ROUGE-L
Du et al. (2017)	12.28	16.62	39.75
Duan et al. (2017)	12.28	-	-
Zhou et al. (2017)	13.29	-	-
Yuan et al. (2017)	10.50	-	-
Wang et al. (2018)	13.86	18.38	44.37
Harrison and Walker (2018)	14.39	19.54	43.00
Kumar et al. (2018b)	16.17	19.85	43.90
Sun et al. (2018)	15.64	-	-
Zhao et al. (2018)	16.38	20.25	44.48
Du and Cardie (2018)	15.16	19.12	-
Song et al. (2018)	13.98	18.77	42.72
Kim et al. (2019)	16.20	19.92	43.96

• NQGモデルは主に注意機構を伴うSeq2Seqフレームワークに従い、回答エンコーディングとコピー機構を組み込むことが多い。
• 段落レベルの文脈と多面的な入力表現はSQuADのような標準ベンチマークで性能を向上させる。
• 深い質問生成には依然として課題が残っており、複数文推論や外部知識を要するデータセットでの成功は限られている。
• マルチタスク学習とクロス・タスクの利益（例: QA、要約）は潜在的な可能性を示すが、目標のバランスを慎重に取る必要がある。
• BLEU/METEOR/ROUGEを超える評価指標が、回答可能性と質問品質をより適切に捉えるために必要である。
• 調査時点の最先端手法には、回答位置、文脈注目、先進的デコード戦略を統合するモデルが含まれ、BLEU-4が中〜高十代、ROUGE-Lが40代を達成している。