[논문 리뷰] Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering

Jeroen Offerijns, Suzan Verberne외 1명|arXiv (Cornell University)|2020. 10. 19.

Topic Modeling참고 문헌 24인용 수 13

한 줄 요약

이 논문은 RACE 데이터셋을 사용하여 GPT-2 기반 모델을 제안하여 다중 선택 문제(MCQ)의 고급 오답항을 생성하고, BERT 기반 질의응답(QA) 모델을 통해 답변 가능한 질문들만 걸러내는 방법을 제시한다. 자동 평가 지표에서는 이전 연구를 능가했지만, 인간 평가에서는 QA 필터링의 영향이 통계적으로 유의미하지 않아, 질문의 질에 대한 인식 향상에 제한적인 영향을 미친다는 것을 시사한다.

ABSTRACT

For the field of education, being able to generate semantically correct and educationally relevant multiple choice questions (MCQs) could have a large impact. While question generation itself is an active research topic, generating distractors (the incorrect multiple choice options) receives much less attention. A missed opportunity, since there is still a lot of room for improvement in this area. In this work, we train a GPT-2 language model to generate three distractors for a given question and text context, using the RACE dataset. Next, we train a BERT language model to answer MCQs, and use this model as a filter, to select only questions that can be answered and therefore presumably make sense. To evaluate our work, we start by using text generation metrics, which show that our model outperforms earlier work on distractor generation (DG) and achieves state-of-the-art performance. Also, by calculating the question answering ability, we show that larger base models lead to better performance. Moreover, we conducted a human evaluation study, which confirmed the quality of the generated questions, but showed no statistically significant effect of the QA filter.

연구 동기 및 목표

• 다중 선택 문제에 대해 의미적으로 타당하고 교육적으로 관련성이 있는 오답항을 생성하는 데 아직 다루지 않은 과제를 해결하기 위해.
• 질의응답(QA) 모델을 필터링 메커니즘으로 도입하여 자동 생성된 다중 선택 문제의 질을 향상시키기 위해.
• 인간 평가를 통해 QA 필터가 인간이 인식하는 질문 품질 향상에 얼마나 효과적인지 평가하기 위해.
• 더 큰 언어 모델이 오답항 생성 및 QA 필터링 성능에 기여하는지 탐구하기 위해.

제안 방법

• RACE 데이터셋을 사용하여 GPT-2 언어 모델을 미세조정하여 질문과 맥락 쌍당 세 개의 오답항을 생성한다.
• 동일한 RACE 데이터셋에서 다중 선택 질문에 대한 질의응답(QA)을 수행하기 위해 BERT 모델을 미세조정하여 필터링 메커니즘으로 활용한다.
• 두 단계로 구성된 파이프라인을 제안한다: 먼저 GPT-2를 사용해 질문과 오답항을 생성하고, 그 다음에 BERT QA 모델이 정확히 답변하는 다중 선택 문제들만 필터링한다.
• 자동 평가 지표(BLEU, ROUGE)와 인간 평가를 사용하여 생성된 오답항의 품질과 필터링의 영향을 평가한다.
• 모델 크기가 오답항 생성 및 QA 성능에 미치는 영향을 평가한다.
• 오답항 생성의 잠재적 향상 방안으로 불확실성 추정 또는 '모르겠음' 예측 옵션을 QA 모델에 추가하여 가짜 양성 결과를 줄일 수 있다.

실험 결과

연구 질문

• RQ1 GPT-2 기반 모델은 의미적으로 일관되고 교육적으로 관련성이 있는 오답항을 생성할 수 있는가?
• RQ2 BERT 기반 QA 모델을 사용해 생성된 다중 선택 문제를 필터링하면 전체 질문의 품질이 향상되는가?
• RQ3 언어 모델의 크기가 오답항 생성 및 QA 필터링 성능에 어떤 영향을 미치는가?
• RQ4 자동 평가 지표와 인간이 평가한 질문 품질 간의 상관관계는 어느 정도인가?
• RQ5 QA 모델의 불확실성은 필터링 효과에 어떤 영향을 미치는가?

주요 결과

• 제안된 GPT-2 기반 오답항 생성 모델은 모든 BLEU 및 ROUGE 지표에서 이전 최고 성능 기록을 능가했다.
• 기본 크기의 더 큰 모델은 필터링 모델의 질문 답변 능력에 측정 가능한 그러나 작은 향상을 가져왔다.
• 인간 평가에서는 생성된 질문의 품질이 높다는 것이 확인되었지만, 필터링된 출력과 필터링되지 않은 출력 간의 인간이 인식하는 품질 향상에 통계적으로 유의미한 차이가 없었다.
• QA 필터링 단계는 정량적 영향이 미미했고, 질적 향상도 유의미하지 않아, 필터링이 인간 평가 기반 품질 향상에 의미 있는 기여를 하지 못할 수 있음을 시사한다.
• QA 필터의 주요 한계는 높은 가짜 양성률이며, 잘못 구성된 질문일지라도 모델이 맞게 추측할 수 있기 때문이다.
• 향후 개선 방안으로는 불확실성 추정 또는 QA 모델에 '모르겠음' 예측 옵션을 추가하여 가짜 양성 결과를 줄일 수 있다.