[논문 리뷰] It is AI's Turn to Ask Human a Question: Question and Answer Pair Generation for Children Storybooks in FairytaleQA Dataset.

Bingsheng Yao, Dakuo Wang외 6명|arXiv (Cornell University)|2021. 09. 08.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 FairytaleQA 데이터셋을 활용하여 아동용 동화책에서 교육적으로 효과적인 질문-답변 쌍을 자동으로 생성하는 새로운 AI 기반 프레임워크를 제안한다. 히우리스틱을 통해 답변을 추출하고, 언어 모델을 사용해 질문을 생성하며, QA 모델을 통해 QA 쌍을 순위 매기는 방식으로, 언어 학습 성과를 향상시키고 효과적인 데이터 증강을 통해 데이터 부족 문제를 해결한다.

ABSTRACT

Existing question answering (QA) datasets are created mainly for the application of having AI to be able to answer questions asked by humans. But in educational applications, teachers and parents sometimes may not know what questions they should ask a child that can maximize their language learning results. With a newly released book QA dataset (FairytaleQA), which educational experts labeled on 46 fairytale storybooks for early childhood readers, we developed an automated QA generation model architecture for this novel application. Our model (1) extracts candidate answers from a given storybook passage through carefully designed heuristics based on a pedagogical framework; (2) generates appropriate questions corresponding to each extracted answer using a language model; and, (3) uses another QA model to rank top QA-pairs. Automatic and human evaluations show that our model outperforms baselines. We also demonstrate that our method can help with the scarcity issue of the children's book QA dataset via data augmentation on 200 unlabeled storybooks.

연구 동기 및 목표

• 교육자와 부모가 아동의 언어 발달을 위해 최적의 질문을 생성하는 데 지원하는 자동화된 도구 부족 문제를 보완하기 위해.
• 아동용 동화책에서 고품질이며 교육적으로 의미 있는 QA 쌍을 생성하는 AI 시스템을 개발하기 위해.
• 효과적인 데이터 증강을 통해 레이블이 부여된 아동용 동화책 QA 데이터셋의 부족 문제를 완화하기 위해.
• 생성된 질문이 초기 아동 독서를 위한 교육적 프레임워크와 일치하도록 보장하기 위해.

제안 방법

• 교육적 프레임워크에 기반한 히우리스틱을 사용해 동화책 문장에서 후보 답변을 추출하여 교육적 관련성을 확보한다.
• 미리 훈련된 언어 모델을 사용해 각 추출된 답변에 대응하는 자연스러운 질문을 생성한다.
• 세부 조정된 QA 모델을 사용해 생성된 QA 쌍을 관련성과 품질 기준으로 순위 매긴다.
• 전체 프로세스를 200개의 레이블이 없는 동화책에 적용하여 데이터 증강을 수행하고 훈련 데이터를 확장한다.
• 자동 평가 지표와 인간 평가를 병행해 품질 확보를 위한 평가를 전체 프레임워크에 적용한다.
• 모델는 훈련 및 평가의 기초로 FairytaleQA 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 추출된 답변을 바탕으로 AI 모델이 아동용 동화책에 적합한 고품질의 교육적 질문을 생성할 수 있는가?
• RQ2 제안된 QA 쌍 생성 파이프라인은 초등 독자들을 위한 교육 목표에 부합하는 질문을 얼마나 효과적으로 생성하는가?
• RQ3 효과적인 데이터 증강을 통해 모델이 아동용 동화책 QA 데이터셋의 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ4 질문 품질과 답변 관련성 측면에서 기존 베이스라인 대비 모델의 성능은 어떻게 비교되는가?

주요 결과

• 자동 평가 및 인간 평가 모두에서 제안된 모델이 베이스라인 방법을 능가하며, 더 뛰어난 질문 품질과 관련성을 입증한다.
• 교육적 프레임워크에 기반한 히우리스틱을 활용함으로써 추출된 답변의 정확도와 교육적 가치가 크게 향상된다.
• QA 쌍 생성 파이프라인은 아동용 동화책에 자연스럽고 맥락에 적합한 고품질의 질문을 성공적으로 생성했다.
• 200개의 레이블이 없는 동화책에 대해 효과적인 데이터 증강을 달성하여 훈련 데이터를 확장하면서도 품질을 유지했다.
• 인간 평가를 통해 생성된 QA 쌍이 아동의 언어 학습을 지원하기 위한 교육 현장에서 활용 가능하다는 것이 확인되었다.
• 순위 매기기 모델이 저품질의 QA 쌍을 효과적으로 걸러내어 출력의 총체적 신뢰도를 향상시켰다.