[논문 리뷰] Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask

Bilal Ghanem, Lauren Lutz Coleman외 3명|arXiv (Cornell University)|2022. 04. 06.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 일반적인 질문 생성(How to Ask)에서 사전 훈련한 후, 목표 독해 능력 훈련(What to Ask)을 위한 미세조정을 거치는 두 단계 질문 생성 모델인 HTA-WTA를 제안한다. 또한 추론 및 문장 내 의미적 질문을 포함한 아홉 가지 스토리 기반 독해 능력(SBRCS)을 포함하는 새로운 데이터셋을 제시하며, 특히 10%의 훈련 데이터만으로도 강력한 베이스라인을 능가하는 성능을 보이며, 정답에 대한 감독 없이도 높은 품질의 능력별 질문을 생성함을 입증한다.

ABSTRACT

Reading is integral to everyday life, and yet learning to read is a struggle for many young learners. During lessons, teachers can use comprehension questions to increase engagement, test reading skills, and improve retention. Historically such questions were written by skilled teachers, but recently language models have been used to generate comprehension questions. However, many existing Question Generation (QG) systems focus on generating literal questions from the text, and have no way to control the type of the generated question. In this paper, we study QG for reading comprehension where inferential questions are critical and extractive techniques cannot be used. We propose a two-step model (HTA-WTA) that takes advantage of previous datasets, and can generate questions for a specific targeted comprehension skill. We propose a new reading comprehension dataset that contains questions annotated with story-based reading comprehension skills (SBRCS), allowing for a more complete reader assessment. Across several experiments, our results show that HTA-WTA outperforms multiple strong baselines on this new dataset. We show that the HTA-WTA model tests for strong SCRS by asking deep inferential questions.

연구 동기 및 목표

• 독해에서 제어 가능하고 능력 중심의 질문 생성이 부족한 문제를 해결하기 위해, 특히 추론 질문에 초점을 맞춘다.
• 문장 기반 독해 능력(SBRCS)에 대한 새로운 종합적인 데이터셋을 구축한다. 이 데이터셋에는 문장적 질문과 추론 질문이 포함된다.
• 일반화 능력과 능력 중심 질문의 품질을 향상시키기 위해 두 단계 질문 생성 모델(HTA-WTA)을 개발한다.
• 저자원(소수 데이터) 설정에서 모델의 성능을 평가하여 실제 세계의 데이터 부족 상황을 시뮬레이션한다.
• 정답에 대한 감독 없이도 교육 플랫폼에서 자동으로 고품질의 질문을 생성할 수 있도록 한다.

제안 방법

• HTA-WTA 모델는 두 단계 훈련 과정을 사용한다: 먼저 일반 질문 생성 데이터셋(How to Ask)에서 사전 훈련한 후, 능력 중심 데이터셋(What to Ask)에서 미세조정한다.
• 기존의 QG 데이터셋에서의 전이 학습을 활용하여 일반화 능력을 향상시키고 데이터 요구량을 줄인다.
• 생성된 질문이 특정 독해 능력 유형을 타겟으로 하는 데 제어할 수 있도록, 스킬 이름 토큰을 입력 프롬프트에 통합한다.
• 모델는 정답에 대한 감독 없이도, 단지 문장과 스킬 레이블 입력에 의존하여 종합적으로 훈련된다.
• 시퀀스-투-시퀀스 트랜스포머 아키텍처를 사용하며, 스토리 기반 문장과 스킬 레이블이 부여된 질문으로 구성된 새로 구축한 데이터셋에서 미세조정한다.
• 소수 데이터 학습을 시뮬레이션하기 위해, 각 스킬에 대해 데이터셋 인스턴스의 10%만 사용하여 전략적 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 정답에 대한 감독 없이도 두 단계 질문 생성 모델이 특정 독해 능력 유형을 타겟으로 하는 질문을 효과적으로 생성할 수 있는가?
• RQ2 다양하고 다중 능력 유형을 포함한 독해 데이터셋에서 HTA-WTA 모델은 강력한 베이스라인 대비 어떤 성능을 보이는가?
• RQ3 HTA-WTA 모델는 데이터셋의 소수의 일부(예: 10%)만으로 미세조정되었을 때 얼마나 잘 일반화되는가?
• RQ4 스킬 이름 토큰의 포함이 특정 독해 능력 유형에 맞는 질문 생성 능력을 향상시키는 데 기여하는가?
• RQ5 제안된 모델은 더 어려운 추론 질문을 고품질로 생성할 수 있는가? 문장적 질문보다 더 어렵기 때문이다.

주요 결과

• HTA-WTA는 새로운 SBRCS 데이터셋에서 여러 강력한 베이스라인을 능가하며, 능력 중심 질문 생성에서 뛰어난 성능을 보였다.
• 10%의 훈련 데이터만으로도 소수 데이터 설정에서 BLEURT 점수 33.21을 기록했으며, 대부분의 베이스라인을 뛰어넘었고, 전체 데이터셋으로 훈련된 모델조차도 뛰어넘는 성능을 보였다.
• 예측 및 비유적 언어와 같은 저자원 스킬에서 F1 점수 1.0(완벽한 점수)을 기록하여, 어려운 추론 질문 형식에 대해 강력한 일반화 능력을 보였다.
• 스킬 이름 토큰의 사용은 부족한 스킬에 대해 성능 향상에 크게 기여하여, 질문 유형에 대한 효과적인 해석과 제어를 가능하게 했다.
• 데이터 증가에 따라 점진적인 성능 향상이 관찰되었지만, 10%에서 30%로 데이터 증가 시 약간의 성능 저하가 발생했으며, 이는 이전 연구에서 보고된 데이터 부족 효과와 일치했다.
• 정답에 대한 감독 없이도 고품질의 추론 질문을 성공적으로 생성하여, 실제 교육 응용 분야에서의 유용성을 입증했다.