[論文レビュー] EQG-RACE: Examination-Type Question Generation

Xin Jia, Wenjie Zhou+2 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 46被引用数 6

ひとこと要約

本稿では、RACEデータセットから推論力と長文理解を重視する試験形式の質問を生成するための新規な質問生成フレームワークEQG-RACEを提案する。回答関連のコンテンツを局所化するためのラフな回答とキーセンテンスタギング手法を導入するとともに、回答をガイドするグラフ畳み込みネットワーク（AG-GCN）を用いて文内および文間の関係をモデル化し、新たに構築された高品質なQGベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Question Generation (QG) is an essential component of the automatic intelligent tutoring systems, which aims to generate high-quality questions for facilitating the reading practice and assessments. However, existing QG technologies encounter several key issues concerning the biased and unnatural language sources of datasets which are mainly obtained from the Web (e.g. SQuAD). In this paper, we propose an innovative Examination-type Question Generation approach (EQG-RACE) to generate exam-like questions based on a dataset extracted from RACE. Two main strategies are employed in EQG-RACE for dealing with discrete answer information and reasoning among long contexts. A Rough Answer and Key Sentence Tagging scheme is utilized to enhance the representations of input. An Answer-guided Graph Convolutional Network (AG-GCN) is designed to capture structure information in revealing the inter-sentences and intra-sentence relations. Experimental results show a state-of-the-art performance of EQG-RACE, which is apparently superior to the baselines. In addition, our work has established a new QG prototype with a reshaped dataset and QG method, which provides an important benchmark for related research in future work. We will make our data and code publicly available for further research.

研究の動機と目的

• SQuADなどのウェブベースのQAデータセットで訓練された既存の質問生成モデルの限界、特に教育的試験形式の質問に不適切である点を是正すること。
• 実際の試験状況に適した特定型質問に特化して、RACEデータセットから高品質でドメイン特化型のQGデータセットを構築すること。
• 長文の本文において複数文にまたがる長大な文脈的答えや複雑な推論を伴う質問を生成する課題に取り組むこと。
• 回答中心の質問生成において、文脈の本文の構造的および関係的情報を効果的に捉える手法を設計すること。
• 公開済みのデータとコードを伴う、試験形式の質問生成のための新しいベンチマークを確立すること。

提案手法

• 回答関連の語句や文を特定・強調するためのラフな回答とキーセンテンスタギング手法を用い、下流の生成に向けた入力表現を向上させる。
• 回答関連の構造に注目するように設計された回答をガイドするグラフ畳み込みネットワーク（AG-GCN）を導入し、文と語の間の依存関係をモデル化することで、長文における推論を向上させる。
• ノードが語または文を表す動的グラフを構築し、エッジの重みを回答への関連性に基づいて設定することで、顕著な情報に注目できるようにする。
• グラフ符号化された文脈表現を統合したseq2seq生成モデルを採用し、文法的に正しいかつ文脈的に正確な質問を生成する。
• エンコーダーに回答位置、品詞（POS）、固有表現認識（NER）の特徴を統合することで、回答に特化した認識を向上させる。
• 本手法は、クローズ形式および一般形式の質問とノイズを除いたクリーニング済みRACEデータセットのバージョンを用いて訓練および評価し、特定型質問に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 SQuADのようなウェブベースのQAデータセットで訓練された質問生成モデルは、現実の教育的試験文脈からの試験形式の質問に効果的に一般化できるか？
• RQ2 答えが短いスパンではなく、長いフレーズや完全な文である場合、回答表現をどのように改善できるか？
• RQ3 グラフベースのモデリングは、長文の本文において複数文にわたる推論を強化するのにどの程度効果的か？
• RQ4 遠隔監視とグラフ畳み込みネットワークの組み合わせは、実際の試験環境における質問の質と正確性を向上させられるか？
• RQ5 本手法は、複雑な推論要件を満たす試験形式の質問を生成する際、既存の最先端手法と比較してどの程度優れているか？

主な発見

• EQG-RACEは新たに構築されたEQG-RACEベンチマークで最先端の性能を達成し、既存のベースラインを著しく上回った。
• 特に答えが複数の文に散らばるような質問において、多文間推論を要する質問で優れた性能を示した。
• 回答をガイドするグラフ畳み込みネットワーク（AG-GCN）は、文間の関係を効果的に捉え、標準的なseq2seqモデルと比較して質問の質を向上させた。
• ラフな回答とキーセンテンスタギング手法により、長文における回答関連コンテンツの局所化が向上し、モデル性能が向上した。
• 特に複数文にわたる統合を要する複雑な推論中心の質問において、ベースラインよりもより正確で文脈的に適切な質問を生成した。
• 著者らは処理済みのEQG-RACEデータセットとコードを公開し、今後の試験形式の質問生成分野における新たなベンチマークを確立した。