[논문 리뷰] Improving Controllability of Educational Question Generation by Keyword Provision

Ying-Hong Chan, Ho-Lam Chung외 1명|arXiv (Cornell University)|2021. 12. 02.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 교육적 질문 생성(QG)의 가소성과 다양성을 향상시키기 위해 키워드 제공 기반의 제어 가능한 질문 생성(CQG) 프레임워크인 KPQG를 제안한다. 사용자가 제공한 키워드를 입력에 통합함으로써 KPQG는 목표 지향적이고 문법적으로 다양한 질문 생성을 가능하게 하였으며, DeBERTa를 사용하여 RACE 데이터셋에서 SOTA인 BLEU-4 점수 20.19를 달성하여 이전 연구를 크게 능가한다.

ABSTRACT

Question Generation (QG) receives increasing research attention in NLP community. One motivation for QG is that QG significantly facilitates the preparation of educational reading practice and assessments. While the significant advancement of QG techniques was reported, current QG results are not ideal for educational reading practice assessment in terms of extit{controllability} and extit{question difficulty}. This paper reports our results toward the two issues. First, we report a state-of-the-art exam-like QG model by advancing the current best model from 11.96 to 20.19 (in terms of BLEU 4 score). Second, we propose to investigate a variant of QG setting by allowing users to provide keywords for guiding QG direction. We also present a simple but effective model toward the QG controllability task. Experiments are also performed and the results demonstrate the feasibility and potentials of improving QG diversity and controllability by the proposed keyword provision QG model.

연구 동기 및 목표

• 기존 교육적 QG 모델에서 사용자 기대에 맞게 질문을 유도할 수 없는 제어 불가능성 문제를 해결하기 위해.
• 단순한 사실 기반 질문을 넘어서 더 복잡하고 시험 유형에 가까운 질문으로의 전환을 통해 생성된 질문의 난이도와 다양성을 향상시키기 위해.
• 사용자가 키워드를 제공하여 질문 방향을 이끄는 새로운 QG 설정인 제어 가능한 질문 생성(CQG)을 탐색하기 위해.
• 사전 훈련된 언어 모델(PLM)이 교육 평가를 위한 질문 생성 품질 향상에 기여하는지 평가하기 위해.
• 키워드 가이던스가 문법적 제어와 원하는 질문 유형과의 정렬 향상에 기여하는지 확인하기 위해.

제안 방법

• 표준 (패스제이지, 답변) 쌍을 넘어서, 패스제이지, 답변, 그리고 키워드 세트를 포함하는 새로운 QG 설정인 CQG를 제안한다.
• 특수 토큰을 사용해 키워드를 입력 시퀀스에 통합함으로써 생성 과정을 이끄는 간단하면서도 효과적인 모델인 KPQG를 개발한다.
• 자기회귀적, 마스크된 LM 또는 seq2seq 생성 방식을 사용해 DeBERTa, RoBERTa, BART 등의 사전 훈련된 언어 모델(PLM)을 질문 생성에 맞게 미세조정한다.
• 입력 프롬프트에 키워드를 삽입함으로써 생성 과정을 조절한다 (예: [S]패스제이지[S]답변[S]키워드[M]).
• RACE 시험 데이터셋에서 유도된 EQG-RACE 데이터셋을 사용해 모델을 훈련하여 시험 유형의 질문을 생성한다.
• 생성 품질과 제어 가능성 평가를 위해 표준 NLP 메트릭(BLEU, ROUGE-L, METEOR)을 사용한다.

실험 결과

연구 질문

• RQ1 키워드 제공이 교육적 질문 생성 모델의 제어 가능성에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 사용자가 지정한 키워드를 통합하면 출력 질문이 목표로 하는 골드 표준 질문에 더 가까워지는가?
• RQ3 키워드 가이던스를 통해 문법적 구조, 예를 들어 질문 유형('누구' 대비 '어느') 제어가 가능한가?
• RQ4 시험 유형 데이터셋에 사전 훈련된 언어 모델을 적용하면 이전 방법에 비해 질문 생성 품질이 향상되는가?
• RQ5 제안된 방법이 교육 평가 준비의 다양성과 실용성 향상에 기여하는가?

주요 결과

• 제안된 KPQG 모델은 EQG-RACE 데이터셋에서 SOTA인 BLEU-4 점수 20.19를 달성하여 이전 SOTA인 11.96를 뛰어넘었다.
• 키워드 제공 가이던스 덕분에 기준 모델보다 훨씬 골드 표준 질문에 가까운 질문을 생성할 수 있었다.
• '화성'이나 '메건 스미스'와 같은 키워드를 사용할 경우, 기준 모델이 목표에서 벗어난 질문을 생성하는 동안 KPQG는 의도한 초점을 반영한 질문을 성공적으로 생성했다.
• 모델은 문법적 제어를 보여주었으며, '누구'나 '어느'을 키워드로 사용하면 해당 질문 구조에 맞는 질문을 생성함으로써 목표 지향적인 문법적 다양성을 가능하게 했다.
• 사례 연구에서 키워드 입력을 다양하게 조절함으로써 KPQG는 맥락적으로 관련성 있고 다양한 질문을 생성할 수 있었으며, 교사들의 실용적 활용도를 높였다.
• DeBERTa를 백본 모델로 사용할 경우 최고의 성능을 보였으며, 이는 강력한 사전 훈련된 모델이 고품질 교육적 QG에 있어 핵심 요소임을 시사한다.