[논문 리뷰] Difficulty Controllable Generation of Reading Comprehension Questions

Yifan Gao, Lidong Bing외 3명|arXiv (Cornell University)|2018. 07. 10.

Topic Modeling참고 문헌 27인용 수 15

한 줄 요약

이 논문은 위치 인식 임베딩과 글로벌 난이도 변수를 활용하여 지정된 난이도 수준을 가진 독해 질문을 생성하는 엔드 투 엔드 프레임워크인 난이도 제어 가능 질문 생성(DQG)을 제안한다. 이 방법은 뛰어난 질문 품질과 강력한 난이도 제어 성능을 달성하였으며, 인간이 난이도 레이블을 부여한 76,000개의 SQuAD 질문으로 구성된 새로운 데이터셋에서 검증되었다.

ABSTRACT

We investigate the difficulty levels of questions in reading comprehension datasets such as SQuAD, and propose a new question generation setting, named Difficulty-controllable Question Generation (DQG). Taking as input a sentence in the reading comprehension paragraph and some of its text fragments (i.e., answers) that we want to ask questions about, a DQG method needs to generate questions each of which has a given text fragment as its answer, and meanwhile the generation is under the control of specified difficulty labels---the output questions should satisfy the specified difficulty as much as possible. To solve this task, we propose an end-to-end framework to generate questions of designated difficulty levels by exploring a few important intuitions. For evaluation, we prepared the first dataset of reading comprehension questions with difficulty labels. The results show that the question generated by our framework not only have better quality under the metrics like BLEU, but also comply with the specified difficulty labels.

연구 동기 및 목표

• 독해 질문 생성 분야에서 난이도 제어가 이루어지지 않은 설정이 NLP 분야에서 이전에 탐색되지 않은 바를 해결하기 위해.
• 난이도 수준이 레이블링된 독해 질문의 첫 번째 대규모 데이터셋을 구축하여 난이도 제어가 가능한 모델의 훈련과 평가를 가능하게 하기 위해.
• 특정 난이도 수준에 맞게 질문을 생성하는 신경망 생성 프레임워크를 개발하여 높은 사실적 정확도와 문법적 정확도를 유지하기 위해.
• 근접성 힌트와 글로벌 난이도 신호가 어떻게 모델링되어야 하는지 탐색하여 질문 생성 과정을 원하는 난이도 수준으로 이끌 수 있는지에 대해.
• 사전 훈련된 독해 질문 모델을 사용하여 생성된 질문의 난이도를 사전 측정 지표로 평가하기 위해.

제안 방법

• 프레임워크는 비정지어(non-stop words)가 답변 조각으로부터의 거리를 인코딩하는 위치 임베딩을 통합한 시퀀스 투 시퀀스 아키텍처를 사용하여 난이도 제어를 위한 근접성 힌트를 모델링한다.
• 전체 질문 생성 과정이 특정 난이도 수준(예: 쉬움 또는 어려움)에 조건화되도록 잠재 표현으로서의 글로벌 난이도 변수를 도입한다.
• 정답 인식 디코딩을 통해 생성된 질문이 지정된 정답을 중심으로 집중되도록 하기 위해, 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 언어적 신호와 RC 모델 신뢰도 점수의 조합을 사용하여 기존 SQuAD 질문을 자동으로 다중 난이도 수준으로 레이블링하는 새로운 데이터 수집 파이프라인을 개발하였다.
• 입력 문장과 정답 조각에 기반하여 생성된 질문이 관련성 있고 정답을 가질 수 있도록 답변 인식 주의 메커니즘을 통합한다.
• 사전 훈련된 독해 질문 모델(예: BERT)을 사용하여 답변 구간을 예측하고 신뢰도 점수를 계산하여 질문 난이도의 대체 측정 지표로 사용함으로써 난이도 평가를 수행한다.

실험 결과

연구 질문

• RQ1 난이도 제어가 가능한 신경망 질문 생성 모델을 훈련시켜 높은 사실적 정확도와 문법적 정확도를 유지하면서 특정 난이도 수준의 질문을 생성할 수 있는가?
• RQ2 입력 문장 내 근접성 힌트(예: 정답에 가까운 단어들)는 어떻게 모델링되어야 하며, 난이도에 영향을 줄 수 있는가?
• RQ3 같은 입력 문장과 정답 쌍으로부터 다양한 난이도의 질문을 생성하는 데 글로벌 난이도 변수가 효과적으로 기여할 수 있는가?
• RQ4 명시적인 난이도 레이블이 부여된 대규모 고품질 독해 질문 데이터셋을 구축하는 것이 가능한가?
• RQ5 사전 훈련된 독해 질문 모델이 생성된 질문의 난이도 평가에 신뢰할 수 있는 대체 측정 지표로 기능할 수 있는가?

주요 결과

• 제안된 DQG 프레임워크는 자동 질문 품질 평가 지표에서 최신 기준 성능을 달성하였으며, 기준 방법 대비 BLEU 점수 최대 20.79점 향상됨.
• 난이도 제어 기능이 있는 모델(DLPH-GDC)이 다른 방법들보다 더 뛰어난 난이도 제어 능력을 보였으며, RC 모델의 신뢰도 점수로 측정된 바에 따르면 생성된 질문이 지정된 난이도 수준과 잘 일치함.
• 위치 인식 임베딩의 사용이 질문 품질 향상에 크게 기여하였으며, QWPH 변형은 BLEU 점수와 정답 관련성 측면에서 Ans 기준보다 뛰어남.
• 프레임워크는 동일한 입력 문장과 정답 쌍으로부터 쉬운 질문과 어려운 질문을 성공적으로 생성하였으며, 쉬운 질문은 평균적으로 정답 단어에 더 가까운 단어를 포함함.
• 자동 난이도 레이블링 방법을 통해 76,000개의 SQuAD 질문에 난이도 레이블을 성공적으로 생성하였으며, 이는 난이도 제어가 가능한 질문 생성에 대한 첫 번째 대규모 연구를 가능하게 하였다.
• 사례 연구를 통해 모델이 더 집중적이고 맥락에 적합한 질문을 생성하는 것으로 확인되었으며, DLPH-GDC는 더 쉬운 질문을 더 가까운 단어를 사용해 생성하고 더 어려운 질문은 더 적고 더 먼 단어를 사용해 생성함.