[論文レビュー] It is AI's Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset.

Bingsheng Yao, Dakuo Wang+6 more|arXiv (Cornell University)|Sep 8, 2021

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本稿では、FairytaleQAデータセットを用いて、児童向け物語本から教育的効果のある質問・回答ペアを自動生成する、画期的なAI駆動フレームワークを提案する。ヒューリスティクスを用いて答えを抽出し、言語モデルで質問を生成し、QAモデルでQAペアをランク付けすることで、言語学習の成果を向上させるとともに、効果的なデータ拡張によりデータ不足の問題を軽減する。

ABSTRACT

Existing question answering (QA) datasets are created mainly for the application of having AI to be able to answer questions asked by humans. But in educational applications, teachers and parents sometimes may not know what questions they should ask a child that can maximize their language learning results. With a newly released book QA dataset (FairytaleQA), which educational experts labeled on 46 fairytale storybooks for early childhood readers, we developed an automated QA generation model architecture for this novel application. Our model (1) extracts candidate answers from a given storybook passage through carefully designed heuristics based on a pedagogical framework; (2) generates appropriate questions corresponding to each extracted answer using a language model; and, (3) uses another QA model to rank top QA-pairs. Automatic and human evaluations show that our model outperforms baselines. We also demonstrate that our method can help with the scarcity issue of the children's book QA dataset via data augmentation on 200 unlabeled storybooks.

研究の動機と目的

• 教育者や保護者が児童の言語発達に最適な質問を生成するのを支援する自動化ツールの不足を補うため。
• 児童向け物語本から高品質で教育的意味を持つQAペアを生成するAIシステムを開発するため。
• 効果的なデータ拡張により、ラベル付きの児童向け物語本QAデータセットの不足を軽減するため。
• 生成された質問が乳児期のリテラシー教育のための教育的フレームワークと整合していることを保証するため。

提案手法

• 教育的フレームワークに基づくヒューリスティクスを用いて、物語の文章から候補となる答えを抽出し、教育的関連性を確保する。
• 事前学習済み言語モデルを用いて、抽出された各答えに対応する自然な質問を生成する。
• 微調整されたQAモデルを用いて、生成されたQAペアの関連性と質を基準にランク付けする。
• パイプラインを200通のラベルなし物語本に適用し、データ拡張を実施し、学習データを拡大する。
• 自動評価指標と人的アノテーションの両方を用いて、品質保証の観点から全体のフレームワークを評価する。
• モデルは、学習と評価の基盤としてFairytaleQAデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 抽出された答えに基づいて、AIモデルは児童向け物語本用に高品質で教育的に適切な質問を生成できるか？
• RQ2 提案されたQAペア生成パイプラインは、初心者読者の教育的目標と整合する質問をどれほど効果的に生成できるか？
• RQ3 効果的なデータ拡張により、児童向け物語本QAデータセットにおけるデータ不足をどの程度軽減できるか？
• RQ4 質問の質と回答の関連性という観点から、既存のベースラインと比較して、モデルのパフォーマンスはどの程度向上するか？

主な発見

• 提案されたモデルは、自動評価および人的評価の両方でベースライン手法を上回り、優れた質問の質と関連性を示した。
• 教育的フレームワークに基づくヒューリスティクスの活用により、抽出された答えの正確性と教育的価値が顕著に向上した。
• QAペア生成パイプラインは、児童向け物語本にふさわしい自然で文脈的に適切な質問を効果的に生成した。
• 200通のラベルなし物語本を対象としたモデルによる効果的なデータ拡張により、学習データが拡大されながらも品質が維持された。
• 人的評価により、生成されたQAペアが児童の言語学習を支援する教育的場面で実際に利用可能であることが確認された。
• ランク付けモデルは、低品質なQAペアを効果的にフィルタリングし、出力全体の信頼性を向上させた。