[論文レビュー] Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering

Jeroen Offerijns, Suzan Verberne+1 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 24被引用数 13

ひとこと要約

本稿では、RACEデータセットを用いて、GPT-2ベースのモデルを用いて高品質な多肢選択肢問題（MCQ）の誤り選択肢を生成し、BERTベースのQAモデルを用いて回答可能な問題にのみフィルタリングする手法を提案する。自動評価指標では先行研究を上回ったが、人的評価ではQAフィルタリングによる質の向上が統計的に有意でなかったため、その影響は限定的であると考えられる。

ABSTRACT

For the field of education, being able to generate semantically correct and educationally relevant multiple choice questions (MCQs) could have a large impact. While question generation itself is an active research topic, generating distractors (the incorrect multiple choice options) receives much less attention. A missed opportunity, since there is still a lot of room for improvement in this area. In this work, we train a GPT-2 language model to generate three distractors for a given question and text context, using the RACE dataset. Next, we train a BERT language model to answer MCQs, and use this model as a filter, to select only questions that can be answered and therefore presumably make sense. To evaluate our work, we start by using text generation metrics, which show that our model outperforms earlier work on distractor generation (DG) and achieves state-of-the-art performance. Also, by calculating the question answering ability, we show that larger base models lead to better performance. Moreover, we conducted a human evaluation study, which confirmed the quality of the generated questions, but showed no statistically significant effect of the QA filter.

研究の動機と目的

• 複数選択肢問題（MCQ）のための意味的に整合的で教育的関連性のある誤り選択肢を生成するという、未だ十分に検討されていない課題に取り組むこと。
• 質問・回答（QA）モデルをフィルタリング機構として導入することで、自動生成されたMCQの質を向上させること。
• 人的評価を通じて、QAフィルタリングが人的に評価された問題の質を向上させるかを評価すること。
• 大規模言語モデルが誤り選択肢生成およびQAフィルタリングのパフォーマンスに与える影響を調査すること。

提案手法

• RACEデータセットを用いて、GPT-2言語モデルを微調整し、1つの質問と文脈のペアに対して3つの誤り選択肢を生成する。
• 同じRACEデータセット上で、多肢選択肢問題の質問・回答（QA）を実行するBERTモデルを微調整し、フィルタリング機構としての役割を果たす。
• 2段階のパイプラインを提案：まずGPT-2を用いて質問と誤り選択肢を生成し、次にBERT QAモデルが正しく回答できるMCQのみをフィルタリングする。
• 自動評価指標（BLEU、ROUGE）と人的評価を用いて、生成された誤り選択肢の質およびフィルタリングの影響を評価する。
• モデルサイズが誤り選択肢生成およびQAパフォーマンスに与える影響を評価した。
• 不確実性推定や「知らない」選択肢の追加といった、誤り選択肢フィルタリングにおける誤検出（偽陽性）を低減する可能性のある改善策を検討した。

実験結果

リサーチクエスチョン

• RQ1 GPT-2ベースのモデルは、意味的に整合的で教育的関連性のある誤り選択肢を生成できるか？
• RQ2 BERTベースのQAモデルを用いたフィルタリングにより、生成されたMCQの全体的な質が向上するか？
• RQ3 言語モデルのサイズが誤り選択肢生成およびQAフィルタリングのパフォーマンスに与える影響は何か？
• RQ4 自動評価指標と人的な問題の質判断との相関度はどの程度か？
• RQ5 QAモデルの不確実性は、フィルタリング効果にどのような影響を及えるか？

主な発見

• 提案されたGPT-2ベースの誤り選択肢生成モデルは、すべてのBLEUおよびROUGE指標で先行する最先端手法を上回った。
• 大きなベースモデルを用いることで、フィルタリング用のQAモデルの質問・回答能力に明確なが、わずかな向上が得られた。
• 人的評価では生成された問題の質の高さが確認されたが、フィルタリング済みと未フィルタリングの出力における人的評価による質の差は統計的に有意ではなかった。
• QAフィルタリングステップは定量的効果が限定的であり、質的向上も顕著でなかったため、フィルタリングが人的評価による質の向上に意味的に寄与しているとは考えにくい。
• QAフィルタリングの主な限界は、誤った構成の問題に対しても正しく推測してしまう高すぎる偽陽性率にある。
• 今後の改善策として、不確実性推定の導入や、QAモデルに「知らない」予測を追加することで、偽陽性を低減できる可能性がある。