[논문 리뷰] A Feasibility Study of Answer-Agnostic Question Generation for Education

Liam Dugan, Eleni Miltsakaki외 6명|arXiv (Cornell University)|2022. 03. 16.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 교육적 텍스트를 대상으로 한 답변 무관 질문 생성(QG)을 조사하며, 원시 교과서 문장이 주어졌을 때 모델이 관련 없거나 해석할 수 없는 질문을 생성하는 것으로 밝혀졌다. 원본 텍스트를 인간이 작성한 요약문 또는 자동으로 생성된 요약문으로 대체함으로써 질문의 수용성은 33%에서 83%로, 관련성은 61%에서 95%로, 해석 가능성은 56%에서 94%로 향상되었으며, 이는 요약이 교육적 맥락에서 QG 품질을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

We conduct a feasibility study into the applicability of answer-agnostic question generation models to textbook passages. We show that a significant portion of errors in such systems arise from asking irrelevant or uninterpretable questions and that such errors can be ameliorated by providing summarized input. We find that giving these models human-written summaries instead of the original text results in a significant increase in acceptability of generated questions (33% $ ightarrow$ 83%) as determined by expert annotators. We also find that, in the absence of human-written summaries, automatic summarization can serve as a good middle ground.

연구 동기 및 목표

• 교과서 문장을 사용하여 답변 무관 질문 생성 모델의 가능성을 평가하는 것.
• 교육적 텍스트에 적용했을 때 답변 무관 QG 모델의 주요 실패 원인을 규명하는 것.
• 입력 텍스트를 요약함으로써 생성된 질문의 품질 향상 여부를 평가하는 것.
• 인간이 작성한 요약문과 자동으로 생성된 요약문이 QG 출력 향상에 얼마나 효과적인지 비교하는 것.
• 요약된 입력을 사용할 경우 수용성, 관련성, 해석 가능성의 향상 정도를 측정하는 것.

제안 방법

• SQuAD 데이터를 미세조정하여 교과서 문장을 기반으로 질문을 생성하는 답변 무관 QG 모델을 구현하였다.
• 인간 평가자들이 5점 척도로 질문의 수용성, 관련성, 해석 가능성을 평가함으로써 모델 출력을 평가하였다.
• 교과서 단락의 인간이 작성한 요약문을 QG 모델의 입력으로 사용하여 원본 텍스트와 결과를 비교하였다.
• 추출형 요약 모델과 개조형 요약 모델을 사용하여 자동으로 요약문을 생성하고, 이를 QG 모델의 입력으로 사용하였다.
• 유창성과 기준 질문과의 유사도를 평가하기 위해 n-gram 겹침 지표(BLEU, ROUGE)를 적용하였다.
• 원본 텍스트, 인간 요약문, 자동 요약문의 세 가지 입력 유형 간 성능을 비교하기 위해 분석 실험(ablation study)를 수행하였다.

실험 결과

연구 질문

• RQ1 교과서 문장을 대상으로 적용했을 때 답변 무관 QG 모델의 주요 실패 원인은 무엇인가?
• RQ2 입력 요약이 생성된 질문의 수용성, 관련성, 해석 가능성에 어떤 영향을 미치는가?
• RQ3 자동으로 생성된 요약문이 인간이 작성한 요약문의 대안으로서 QG 품질 향상에 유의미하게 기여할 수 있는가?
• RQ4 수용성, 관련성, 해석 가능성 등 질문 품질 지표는 원본 텍스트, 인간 요약문, 자동 요약 입력 간에 어떻게 달라지는가?
• RQ5 인간 평가자들이 교과서 장의 보편적 주제에 비추어 생성된 질문의 관련성에 대해 얼마나 높은 일치도를 보이는가?

주요 결과

• 답변 무관 QG 모델의 주요 실패 원인은 원시 교과서 문장을 입력으로 받을 경우 관련 없거나 해석할 수 없는 질문을 생성하는 것이다.
• 인간이 작성한 요약문을 입력으로 사용함으로써 질문의 수용성은 33%에서 83%로, 관련성은 61%에서 95%로, 해석 가능성은 56%에서 94%로 향상되었다.
• 자동 요약이 QG 품질 향상에 뚜렷한 기여를 하여, 인간 요약문이 확보되지 않을 경우 강력한 대안이 될 수 있다.
• 인간이 작성한 요약문은 수용성, 관련성, 해석 가능성의 세 가지 평가 차원에서 가장 높은 향상을 이끌어냈다.
• 모델의 성능은 입력 품질에 매우 민감했으며, 원본 텍스트를 사용할 경우 가장 낮은 수준의 출력을 냈다.
• 평가자들은 관련성 판단에서 높은 일치도를 보였으며, 이는 관련성이 질문 품질의 신뢰할 수 있고 측정 가능한 차원임을 시사한다.