[论文解读] It is AI's Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset.

Bingsheng Yao, Dakuo Wang+6 more|arXiv (Cornell University)|Sep 8, 2021

Topic Modeling参考文献 24被引用 4

一句话总结

本文提出了一种新颖的AI驱动框架，利用FairytaleQA数据集从儿童绘本中自动生成具有教学有效性的问答对。通过基于启发式方法提取答案，使用语言模型生成问题，并利用问答模型对问答对进行排序，该方法提升了语言学习效果，并通过有效的数据增强缓解了数据稀缺问题。

ABSTRACT

Existing question answering (QA) datasets are created mainly for the application of having AI to be able to answer questions asked by humans. But in educational applications, teachers and parents sometimes may not know what questions they should ask a child that can maximize their language learning results. With a newly released book QA dataset (FairytaleQA), which educational experts labeled on 46 fairytale storybooks for early childhood readers, we developed an automated QA generation model architecture for this novel application. Our model (1) extracts candidate answers from a given storybook passage through carefully designed heuristics based on a pedagogical framework; (2) generates appropriate questions corresponding to each extracted answer using a language model; and, (3) uses another QA model to rank top QA-pairs. Automatic and human evaluations show that our model outperforms baselines. We also demonstrate that our method can help with the scarcity issue of the children's book QA dataset via data augmentation on 200 unlabeled storybooks.

研究动机与目标

• 为支持教育工作者和家长生成适合儿童语言发展的最优问题，填补自动化工具的空白。
• 开发一种AI系统，从儿童绘本中生成高质量、具有教育意义的问答对。
• 通过有效的数据增强缓解儿童绘本问答数据集的标注数据稀缺问题。
• 确保生成的问题与早期儿童读写能力的教育框架保持一致。

提出的方法

• 基于教育框架的启发式方法从绘本段落中提取答案，以确保教育相关性。
• 使用预训练语言模型为每个提取的答案生成自然流畅的问题。
• 使用微调后的问答模型根据相关性和质量对生成的问答对进行排序。
• 将该流程应用于200本未标注的绘本，以实现数据增强并扩展训练数据。
• 通过自动指标和人工标注对整个框架进行评估，以确保质量。
• 该模型以FairytaleQA数据集为基础进行训练和评估。

实验结果

研究问题

• RQ1 基于提取的答案，AI模型能否生成高质量、适合儿童绘本的教育性问题？
• RQ2 所提出的问答对生成流程在生成符合早期读者教育目标的问题方面有多高效？
• RQ3 该模型在多大程度上能通过有效的数据增强缓解儿童绘本问答数据集中的数据稀缺问题？
• RQ4 在问题质量和答案相关性方面，该模型的性能与现有基线方法相比如何？

主要发现

• 所提出的模型在自动评估和人工评估中均优于基线方法，表现出更优的问题质量和相关性。
• 基于教育框架的启发式方法显著提升了提取答案的准确性和教育价值。
• 问答对生成流程成功生成了高质量的问题，这些问题对儿童绘本语境自然且恰当。
• 该模型在200本未标注的绘本上实现了有效的数据增强，在保持质量的同时扩展了训练数据。
• 人工评估确认，生成的问答对适合用于教育场景，以支持儿童的语言学习。
• 排序模型有效过滤了低质量的问答对，提升了输出的整体可靠性。