[논문 리뷰] Difficulty Controllable Question Generation for Reading Comprehension.

Yifan Gao, Jianan Wang외 3명|arXiv (Cornell University)|2018. 07. 10.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 질문의 난이도를 제어할 수 있는 질문 생성(Dico-QG)을 제안한다. 이는 먼저 답변 구간을 바탕으로 질문의 난이도 수준을 예측한 후, 해당 난이도 수준에 맞는 질문을 생성하는 이단계적 방법이다. 이 방법은 BLEU로 측정된 질문 품질을 향상시키면서도 지정된 난이도 레이블을 준수함으로써 검증되었으며, 인간이 난이도를 레이블링한 새로운 데이터셋을 기반으로 한다.

ABSTRACT

Question generation aims to generate natural language questions from a range of data sources such as free text and image. In this paper, we investigate the difficulty levels of questions, and propose a new task called Difficulty Controllable Question Generation (Dico-QG). Taking as input a reading comprehension paragraph and some text fragments (i.e. answers) in the paragraph that we want to ask about, a Dico-QG method needs to generate questions each of which has a given text fragment as its answer and is associated with a difficulty label. To solve this task, we proposed a two-step approach. The first step estimates what difficulty level of question could be generated for a given answer. After that, in the generation step, the estimated difficulty is employed together with other information as input to generate a question. For evaluation, we prepared the first dataset of reading comprehension questions with difficulty labels. The results show that our approach not only generates questions of better quality under the metrics like BLEU, but also has the capability of difficulty awareness to generate questions complying with the difficulty label.

연구 동기 및 목표

• 기존 독해 질문 생성 방법에서 질문 난이도에 대한 제어가 부족한 문제를 해결하기 위해.
• 정확성뿐만 아니라 특정 인지 난이도 수준에 맞게 조정된 질문 생성을 가능하게 하기 위해.
• 질문 생성 과정에서 난이도 수준을 추정하고 강제 적용할 수 있는 방법을 개발하여 교육적 활용도를 향상시키기 위해.
• 독해 질문에 대해 인간이 레이블링한 난이도 수준을 포함한 벤치마크 데이터셋을 구축하기 위해.
• 난이도 제어가 고품질의 난이도 준수 질문을 생성하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 이 방법은 이단계적 파이프라인을 사용한다: 먼저 난이도 추정 모듈이 주어진 답변 구간에 적절한 난이도 수준을 예측한다.
• 예측된 난이도는 생성 단계에서 문단과 함께 조건부 입력으로 사용된다.
• 생성 모델은 답변과 예측된 난이도 레이블을 모두 조건으로 삼아 목표 난이도에 맞는 질문을 생성한다.
• 질문 생성을 위해 문단, 답변, 난이도 레이블을 모두 구조화된 입력 표현 방식으로 인코딩하는 시퀀스-투-시퀀스 모델을 사용한다.
• 난이도 추정 모델은 인간이 레이블링한 난이도 수준을 포함한 새로 구축한 데이터셋으로 훈련된다.
• 전체 프레임워크는 교차 엔트로피 손실과 콘트라스트 손실 성분을 포함하여, 생성된 질문과 난이도 목표 간의 일치도를 향상시키기 위해 엔드 투 엔드로 훈련 가능하다.

실험 결과

연구 질문

• RQ1 질문 생성 모델은 독해 단락의 주어진 답변 구간에 대해 적절한 난이도 수준을 효과적으로 예측할 수 있는가?
• RQ2 지정된 난이도 수준을 준수하면서도 높은 유창성과 관련성을 유지할 수 있는가?
• RQ3 난이도 제어가 없는 기준 모델 대비 난이도 제어가 질문 품질에 어떤 영향을 미치는가?
• RQ4 동일한 답변 구간에서 다양한 난이도 수준(예: 쉬움, 보통, 어려움)에 대해 모델이 일반화할 수 있는가?
• RQ5 BLEU와 같은 자동 평가 지표가 질문 품질과 난이도 준수 여부에 대한 인간 평가와 얼마나 관련이 있는가?

주요 결과

• 제안된 Dico-QG 방법은 기준 모델 대비 더 높은 BLEU 점수를 기록하여 생성된 질문의 유창성과 관련성 향상을 나타낸다.
• 모델는 강력한 난이도 인식 능력을 보이며, 지정된 난이도 레이블과 밀도 있게 일치하는 질문을 생성한다.
• 인간이 레이블링한 난이도 수준을 포함한 데이터셋은 질문 생성에서 난이도 제어의 신뢰성 있는 평가를 가능하게 한다.
• 난이도 추정과 생성을 분리한 두 단계적 접근 방식은 통합 훈련 방식에 비해 더 나은 제어력과 더 높은 품질을 제공한다.
• 인간 평가 결과, 생성된 질문은 정확할 뿐 아니라 목표 난이도에 맞는 적절한 도전도를 지닌 것으로 확인되었다.
• 자동 평가와 인간 평가 모두에서 난이도 제어가 없는 기준 모델에 비해 본 방법이 뛰어나며, 특히 난이도 사양 준수 유지 측면에서 뛰어난 성능을 보였다.