[論文レビュー] A Feasibility Study of Answer-Agnostic Question Generation for Education

Liam Dugan, Eleni Miltsakaki+6 more|arXiv (Cornell University)|Mar 16, 2022

Topic Modeling被引用数 5

ひとこと要約

本研究では、教育的テキストに対する回答に依存しない質問生成（QG）を調査し、生の教科書本文を入力とした場合、モデルが関連性のないまたは解釈不能な質問を生成することを発見した。元のテキストの代わりに人間が作成した要約または自動生成された要約を使用することで、質問の受容性は33%から83%に、関連性は61%から95%に、解釈可能性は56%から94%に向上した。これは、要約化が教育的文脈におけるQGの質を著しく向上させることを示している。

ABSTRACT

We conduct a feasibility study into the applicability of answer-agnostic question generation models to textbook passages. We show that a significant portion of errors in such systems arise from asking irrelevant or uninterpretable questions and that such errors can be ameliorated by providing summarized input. We find that giving these models human-written summaries instead of the original text results in a significant increase in acceptability of generated questions (33% $ ightarrow$ 83%) as determined by expert annotators. We also find that, in the absence of human-written summaries, automatic summarization can serve as a good middle ground.

研究の動機と目的

• 教科書本文を用いた教育的文脈における回答に依存しない質問生成（QG）モデルの実現可能性を評価すること。
• 教育的テキストに適用した際の回答に依存しないQGモデルの主な失敗モードを特定すること。
• 入力テキストの要約化が生成された質問の質に与える影響を評価すること。
• 人間が作成した要約と自動生成された要約の両者がQG出力を向上させる効果を比較すること。
• 要約された入力を使用した際の、受容性、関連性、解釈可能性の向上を測定すること。

提案手法

• SQuADデータ上で微調整した回答に依存しないQGモデルを用い、教科書本文から質問を生成した。
• 人間のアノテーターを用いて、質問の受容性、関連性、解釈可能性を5段階スケールで評価した。
• 教科書セクションの要約（人間が作成）をQGモデルの入力として使用し、元の本文との比較を行った。
• 抽出的・要約的モデルを用いて自動要約を生成し、それをQGモデルの入力として使用した。
• 文の類似性とスムーズネスを評価するためにn-gramオーバーラップ指標（BLEU、ROUGE）を適用した。
• 入力タイプ3種（元のテキスト、人間による要約、自動要約）の間で性能を比較するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 教科書本文に適用した際の回答に依存しないQGモデルの主な失敗モードは何か？
• RQ2 入力の要約化が生成された質問の受容性、関連性、解釈可能性に与える影響は何か？
• RQ3 自動生成された要約は、人間が作成した要約の代替として、QGの質向上に有効に機能するか？
• RQ4 受容性、関連性、解釈可能性といった質問品質指標は、元のテキスト、人間による要約、自動要約の入力によってどのように変化するか？
• RQ5 人間のアノテーターは、生成された質問が教科書の章の主題に対して関連しているかどうかについて、どの程度合意しているか？

主な発見

• 回答に依存しないQGモデルの主な失敗モードは、生の教科書本文を入力とした場合に、関連性のないまたは解釈不能な質問を生成することである。
• 人間が作成した要約を入力とすることで、質問の受容性は33%から83%に、関連性は61%から95%に、解釈可能性は56%から94%に向上した。
• 自動要約化はQGの質を著しく向上させ、人間による要約が利用できない場合の強力な代替手段となった。
• 人間が作成した要約は、受容性、関連性、解釈可能性の3つの評価次元すべてで最大の向上をもたらした。
• モデルの性能は入力の品質に極めて敏感であり、生のテキストを入力とすると最も低い品質の出力が得られた。
• アノテーターは関連性の判断について強い合意を示しており、関連性が質問品質の信頼性の高い測定可能指標であることが示された。