[論文レビュー] Generating Distractors for Reading Comprehension Questions from Real Examinations

Yifan Gao, Lidong Bing+3 more|arXiv (Cornell University)|Sep 8, 2018

Topic Modeling参考文献 22被引用数 13

ひとこと要約

本稿では、本番の試験問題から得た長文で意味的に豊かな誤答を生成するため、動的および静的アテンション機構を備えた階層的エンコーダデコーダモデルを提案する。このモデルは、自動評価および人間評価の両方で強力なベースラインを上回り、文脈的に関連性があり、文法的に正しい誤答を生成し、人間が書いたものと区別がつかないものとなる。

ABSTRACT

We investigate the task of distractor generation for multiple choice reading comprehension questions from examinations. In contrast to all previous works, we do not aim at preparing words or short phrases distractors, instead, we endeavor to generate longer and semantic-rich distractors which are closer to distractors in real reading comprehension from examinations. Taking a reading comprehension article, a pair of question and its correct option as input, our goal is to generate several distractors which are somehow related to the answer, consistent with the semantic context of the question and have some trace in the article. We propose a hierarchical encoder-decoder framework with static and dynamic attention mechanisms to tackle this task. Specifically, the dynamic attention can combine sentence-level and word-level attention varying at each recurrent time step to generate a more readable sequence. The static attention is to modulate the dynamic attention not to focus on question irrelevant sentences or sentences which contribute to the correct option. Our proposed framework outperforms several strong baselines on the first prepared distractor generation dataset of real reading comprehension questions. For human evaluation, compared with those distractors generated by baselines, our generated distractors are more functional to confuse the annotators.

研究の動機と目的

• 実際の試験形式の読解多肢問題における、長文で意味的に豊かな誤答を生成する課題に取り組むこと。短い語句や語の誤答とは対照的に、この課題はより自然な文脈を必要とする。
• 従来の抽出・選択型またはルールベースの手法が、文脈的に整合性があり文法的に正しい誤答を生成できないという限界を克服すること。
• 生成された誤答が正解と意味的に関連しており、質問の文脈と整合しており、元の記事に痕跡を含むように保証すること。
• 誤答の現実性と混同可能性を向上させ、RACEデータセットのような本番の評価で人間が設計した選択肢をよりよく模倣すること。
• 記事－質問－正解の三つ組みから直接誤答を生成するデータ駆動型のシーケンス・ツー・シーケンスフレームワークを構築すること。

提案手法

• 読解記事における長距離依存関係をモデル化するため、階層的エンコーダデコーダアーキテクチャを採用し、文レベルおよび語レベルの表現を捉える。
• 各デコーディングステップで文レベルと語レベルのアテンションを動的に組み合わせる動的アテンション機構を導入し、よりなめらかで読みやすい誤答シーケンスの生成を実現する。
• 質問に関係のない文や正解に寄与する文へのアテンションを抑制する静的アテンション機構を設計し、モデルが正解をそのままでコピーするか、言い換えてしまうのを防ぐ。
• 質問に基づく初期化子を用いてデコーディングプロセスを質問に条件づけ、生成された誤答が質問の意味的意図に関連していることを保証する。
• 本番の試験多肢問題の新しいデータセットを用いて、シーケンス・ツー・シーケンス学習によりモデルをエンド・ツー・エンドで訓練し、文の流れと関連性を最適化する。
• 自動評価指標（例：BLEU、ROUGE）と人間評価を併用して、生成された誤答の質と混同可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンションを備えたシーケンス・ツー・シーケンスモデルは、本番の試験形式の読解多肢問題に対して、長文で文脈的に関連性があり、文法的に正しい誤答を生成できるか？
• RQ2 動的アテンションは、文レベルと語レベルの文脈を効果的に統合することで、生成された誤答の流暢さと一貫性を向上させるか？
• RQ3 静的アテンション機構は、正解に関連する文へのアテンションをどの程度低減させ、モデルが正解をそのままでコピーするか言い換えてしまうリスクを軽減できるか？
• RQ4 人間のアノテーターにとって、生成された誤答は人間が書いた誤答と比べてどの程度混同されやすいか？
• RQ5 提案されたフレームワークは、本番の誤答生成タスクにおいて、自動評価および人間評価の両方で既存のベースラインを上回ることができるか？

主な発見

• 提案されたモデルは、本番の試験用誤答生成のための最初の公開データセット上で、BLEU や ROUGE といった自動評価指標において、強力なベースライン（Seq2Seq および HRED）を上回った。
• 人間評価の結果、提案モデルが生成した誤答は、ベースラインのものよりも著しくアノテーターを混同させ、全手法の中で最も高い混同率を示した。
• 静的アテンション機構は、正解を含む文へのアテンションを効果的に抑制し、意味的に同一または言い換えられた誤答を生成するリスクを低減した。
• 事例研究により、モデルが記事内の関連する文と意味的に関連した誤答を生成していることが確認された一方で、頻出語や無関係な語に過剰に依存するのを避けていた。
• 推論を要する質問、特に複数文にわたる推論を必要とする質問において、モデルの誤答は文脈的に一貫性があり、文法的にも整合的であることが明らかになった。
• 人間評価における混同率は、本モデルが 42.5% を記録したのに対し、HRED は 35.6%、Seq2Seq は 28.9% であった。これは、本モデルの誤答が優れた現実性と効果性を有していることを示している。