[論文レビュー] I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection

Tim Steuer, Anna Filighera+2 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling参考文献 45被引用数 4

ひとこと要約

本稿では、教育的原則に基づいて内容を選択する新規な自動質問生成（AQG）システムを提示する。特に定義的文を標的とすることで、高品質で理解を促進する質問を生成する。この手法は読解理論に基づいた教育的意図のあるコンテンツ選択メカニズムに根ざしており、教育専門家による評価では、言語的質が高く、教育的関連性も強いことが確認された。これは、システムが深いテキスト理解を促進する可能性を示している。

ABSTRACT

Most learners fail to develop deep text comprehension when reading textbooks passively. Posing questions about what learners have read is a well-established way of fostering their text comprehension. However, many textbooks lack self-assessment questions because authoring them is timeconsuming and expensive. Automatic question generators may alleviate this scarcity by generating sound pedagogical questions. However, generating questions automatically poses linguistic and pedagogical challenges. What should we ask? And, how do we phrase the question automatically? We address those challenges with an automatic question generator grounded in learning theory. The paper introduces a novel pedagogically meaningful content selection mechanism to find question-worthy sentences and answers in arbitrary textbook contents. We conducted an empirical evaluation study with educational experts, annotating 150 generated questions in six different domains. Results indicate a high linguistic quality of the generated questions. Furthermore, the evaluation results imply that the majority of the generated questions inquire central information related to the given text and may foster text comprehension in specific learning scenarios.

研究の動機と目的

• 高等教育の教科書における自己評価用質問の不足が、深いテキスト理解を阻害することに対処する。
• 既存の自動質問生成（AQG）システムがコンテンツ選択において教育的根拠を欠いているという限界を克服する。
• 学習理論に基づいてコンテンツ選択を行うAQGシステムを開発し、特に教育的に価値のある定義的文に焦点を当てる。
• 多様な学術分野における教育専門家を用いて、生成された質問の言語的および教育的質を評価する。
• AQGシステムがテキストベースの中心的命題を標的にすることで、一貫した心的モデル構築を支援できることを示す。

提案手法

• 本システムは、定義的文がテキストに含まれる核心的かつ教育的に価値のある情報であるという仮説に基づき、教科書内の定義的文を質問生成の主な候補として特定する。
• 「は」、「意味する」、または「～を指す」といった言語的手がかりを活用して定義構造を検出することで、明示的な定義を含む文を優先順位付けするコンテンツ選択メカニズムを適用する。
• テンプレートベースおよびニューラル生成技術を用いて、選択された定義的文を文法的に正しく、回答可能な質問に変換する質問生成パイプラインを実装する。
• 完全な教科書を入力として受け入れることで、事前に分割されたテキスト単位を必要とせずに文脈に配慮した質問生成を可能にする。
• テキスト理解の構築統合（C-I）モデルの原則を統合し、生成された質問がテキストベースの中心的命題および状況モデルを的確に標的にするようにする。
• 言語的流暢さと教育的関連性を評価するために、6分野にまたがる150件の生成質問を対象に専門家評価研究を実施した。

実験結果

リサーチクエスチョン

• RQ1 任意の教科書コンテンツから、言語的に流暢で回答可能な質問を自動生成するシステムは可能か？
• RQ2 定義的文に基づいたコンテンツ選択は、テキストの中心的情報を標的にする教育的に意味のある質問を生み出すか？
• RQ3 教育専門家は、多様な学術分野における自動生成質問の言語的および教育的質をどの程度評価するか？
• RQ4 生成された質問は、一貫した心的モデル構築を支援するように、テキストベースの中心的命題とどの程度一致するか？
• RQ5 理論に裏付けられたコンテンツ選択メカニズムは、ヒューリスティック的またはアルゴリズム的アプローチを上回る性能を示せるか？

主な発見

• 生成された質問は、教育専門家による評価で高い言語的質を示しており、流暢さと文法的正しさに優れている。
• 大多数の生成質問は、テキストの中心的情報を標的にし、理解を支援する教育的に適切であると判断された。
• 専門家は個々の質問の有用性について頻繁に意見を異にしたが、これは教育的評価の主観的性質を示しており、質の傾向は明確に観察された。
• 本システムは、定義的文を的確に特定し、意味のある質問に変換できた。これは、定義が質問にふさわしいコンテンツを示す信頼できるシグナルである可能性を示唆している。
• 評価結果は、テキストベースの中心的命題を標的にすることでテキスト理解が向上することを理論的主張が裏付けていることを示しており、本アプローチの教育的基盤の妥当性を検証した。
• 相互評価者間一致の限界が存在するが、結果はAQGシステムが高等教育の文脈において測定可能な教育的価値を持つ質問を生成できることを示している。