[論文レビュー] Automatic Generation of Multiple-Choice Questions

Cheng Zhang|arXiv (Cornell University)|Mar 25, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、文法的に正しい、文脈的に適切な複数選択式問題（MCQ）を高品質な誤答選択肢とともに自動生成するための2つのディーブラーニング手法—TP3（前処理・後処理を備えたT5ベースのエンドツーエンドモデル）およびMetaQA（意味的・文法的タグを用いたメタシーケンス学習アプローチ）—を提示する。システムはSATの練習テストで97％の精度を達成し、誤答選択肢は意味的に妥当であり、十分に混乱を引き起こすものとなっており、96％が十分な混乱を引き起こし、84％のMCQが完全に適切である。

ABSTRACT

Creating multiple-choice questions to assess reading comprehension of a given article involves generating question-answer pairs (QAPs) and adequate distractors. We present two methods to tackle the challenge of QAP generations: (1) A deep-learning-based end-to-end question generation system based on T5 Transformer with Preprocessing and Postprocessing Pipelines (TP3). We use the finetuned T5 model for our downstream task of question generation and improve accuracy using a combination of various NLP tools and algorithms in preprocessing and postprocessing to select appropriate answers and filter undesirable questions. (2) A sequence-learning-based scheme to generate adequate QAPs via meta-sequence representations of sentences. A meta-sequence is a sequence of vectors comprising semantic and syntactic tags. we devise a scheme called MetaQA to learn meta sequences from training data to form pairs of a meta sequence for a declarative sentence and a corresponding interrogative sentence. The TP3 works well on unseen data, which is complemented by MetaQA. Both methods can generate well-formed and grammatically correct questions. Moreover, we present a novel approach to automatically generate adequate distractors for a given QAP. The method is a combination of part-of-speech tagging, named-entity tagging, semantic-role labeling, regular expressions, domain knowledge bases, word embeddings, word edit distance, WordNet, and other algorithms.

研究の動機と目的

• 読解力評価のための文法的に正しい、文脈的に関連性のある複数選択式問題（MCQ）を自動生成する課題に対処すること。
• 誤答選択肢が文法的に正しいだけでなく、意味的に関連性があり、かつ十分に混乱を引き起こすように、ソース記事の理解を必要とするような生成手法を開発すること。
• 品詞タグ付け、固有表現認識、意味的役割ラベリングなどの自然言語処理技術を組み合わせ、生成された誤答選択肢の質と関連性を向上させること。
• 生成されたMCQを実際のSATの練習読解テストで評価し、教育現場での高い正確性と実用性を確認すること。
• ディーブラーニングベースの生成を補完するため、一般化を向上させ、不整合な質問生成を低減するメタシーケンス学習アプローチを導入すること。

提案手法

• TP3は、適切な回答の選択に向けた前処理パイプラインと、不整合な質問をフィルタリングする後処理パイプラインを備えた微調整済みT5トランスフォーマーモデルを用いる。
• MetaQAは、意味的役割（SR）、品詞（POS）、固有表現（NE）タグから構成されるメタシーケンスを用いて、宣言文とその対応する疑問文を表現する。
• 訓練データからメタシーケンス・宣言文・疑問文のペア（MSDIP）を学習し、メタシーケンスの一致と変換によって宣言文をその疑問文に変換する。
• 誤答選択肢の生成のため、ターゲット語を3種類に分類する（タイプ1：数量的、タイプ2：人物／場所／組織、タイプ3：その他）およびタイプに応じた置換戦略を適用する。
• 品詞タグ付け、固有表現認識、意味的役割ラベリング、fastText埋め込みを統合して、誤答選択肢の文法的正しさと意味的妥当性を保証する。
• 誤答選択肢は、品詞と文法的構造を保持したまま、意味的に類似した代替語にターゲット語を置換することで生成される。

Figure 3.1: TP3 Architecture

実験結果

リサーチクエスチョン

• RQ1 前処理および後処理パイプラインを備えたT5ベースのエンドツーエンドモデルは、文法的に正しいかつ文脈的に適切な複数選択式問題を高い正確性で生成できるか？
• RQ2 意味的・文法的タグを用いたメタシーケンス学習アプローチは、宣言文から多様で整合性のある質問を効果的に生成できるか？
• RQ3 自然言語処理ツールとタイプ別置換戦略の組み合わせにより、文法的に正しいだけでなく、十分に混乱を引き起こす誤答選択肢を生成できるか？
• RQ4 生成されたMCQは、実際のSATの練習テスト問題の質と難易度にどの程度近いのか？
• RQ5 生成された誤答選択肢は、文章全体の理解を必要とせず、単に質問の構造を解析するだけでは正答を特定できないほど効果的に混乱を引き起こしているか？

主な発見

• MetaQAモデルは公式のSAT練習読解テストで97％の精度を達成し、多様な文構造を含む現実世界の文脈で優れた性能を示した。
• TP3モデルは、未観測データを対象としたGaokao-ENデータセットで95％を超える精度を達成し、強い汎化能力を示した。
• 生成された誤答選択肢の98％（303個中296個）が質問に関連しており、十分な混乱を引き起こしており、高い意味的妥当性を示した。
• 誤答選択肢の96％（303個中291個）が十分な混乱を引き起こしており、正答は文章の理解がなければ選べないことを示した。
• 生成されたMCQの84％が完全に適切であり、3つの誤答選択肢すべてが文法的に正しく、関連性があり、十分に混乱を引き起こしていた。
• すべての生成された誤答選択肢が文法的に正しく、文法的誤りによってMCQが却下された例は一切なく、高い言語的品質を確認した。

Figure 4.1: MetaQA architecture and data flow