[논문 리뷰] I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection

Tim Steuer, Anna Filighera외 2명|arXiv (Cornell University)|2021. 10. 08.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 교육용 교과서를 대상으로 한 새로운 자동질문 생성(AQG) 시스템을 제시하며, 교육적 원칙에 기반해 내용을 선택하여 정의적 문장에 초점을 맞춰 고품질의 이해 유도 질문을 생성한다. 이 방법은 독해 이론에 기반한 교육적으로 유의미한 콘텐츠 선택 메커니즘을 사용하며, 교육 전문가의 평가 결과, 언어적 품질이 높고 교육적 관련성이 강해, 깊이 있는 텍스트 이해 향상 잠재력을 보여준다.

ABSTRACT

Most learners fail to develop deep text comprehension when reading textbooks passively. Posing questions about what learners have read is a well-established way of fostering their text comprehension. However, many textbooks lack self-assessment questions because authoring them is timeconsuming and expensive. Automatic question generators may alleviate this scarcity by generating sound pedagogical questions. However, generating questions automatically poses linguistic and pedagogical challenges. What should we ask? And, how do we phrase the question automatically? We address those challenges with an automatic question generator grounded in learning theory. The paper introduces a novel pedagogically meaningful content selection mechanism to find question-worthy sentences and answers in arbitrary textbook contents. We conducted an empirical evaluation study with educational experts, annotating 150 generated questions in six different domains. Results indicate a high linguistic quality of the generated questions. Furthermore, the evaluation results imply that the majority of the generated questions inquire central information related to the given text and may foster text comprehension in specific learning scenarios.

연구 동기 및 목표

• 심화된 텍스트 이해를 저해하는 높은 교육 수준의 교과서에서 자가 평가 질문의 부족 문제를 해결하기 위해.
• 기존 자동질문 생성(AQG) 시스템이 콘텐츠 선택에서 교육적 기반을 결여하고 있다는 한계를 극복하기 위해.
• 학습 이론에 기반해 질문 생성에 적합한 콘텐츠를 선택하는 AQG 시스템을 개발하여, 특히 교육적으로 유의미한 정의 문장에 초점을 맞추기 위해.
• 다양한 학문 분야에서 교육 전문가를 활용해 생성된 질문의 언어적 품질과 교육적 관련성을 평가하기 위해.
• AQG 시스템이 텍스트 기반의 중심 개념을 목표로 삼아 질문을 생성함으로써, 일관된 정신적 모델 구축을 지원할 수 있음을 입증하기 위해.

제안 방법

• 정의 문장이 텍스트에서 핵심적이고 교육적으로 가치 있는 정보를 담고 있다는 가설에 기반해, 교과서 내 정의 문장을 질문 생성의 주요 후보로 식별한다.
• 언어적 신호, 예를 들어 '는', '의미한다', 또는 '을 의미한다'와 같은 표현을 활용해 정의적 구조를 탐지함으로써, 명시적인 정의를 포함한 문장을 우선순위로 선별하는 콘텐츠 선택 메커니즘을 적용한다.
• 템플릿 기반 및 신경 기반 생성 기법을 사용해 선택된 정의 문장을 잘 구성된, 답변 가능한 질문으로 변환하는 질문 생성 파이프라인을 구현한다.
• 완전한 교과서를 입력으로 수용함으로써, 사전에 분할된 텍스트 단위가 필요 없이 맥락 인식 기반의 질문 생성을 가능하게 한다.
• 텍스트 이해의 구조-통합(C-I) 모델 원리를 통합하여, 생성된 질문이 텍스트 기반의 중심 개념과 상황 모델을 정확히 타겟으로 삼도록 보장한다.
• 다양한 분야에서 150개의 생성 질문을 대상으로 전문가 평가 연구를 수행하여 언어 유창성과 교육적 관련성을 평가하였다.

실험 결과

연구 질문

• RQ1 자연스럽고 답변 가능한 질문을 다양한 교과서 내용에서 자동으로 생성할 수 있는가?
• RQ2 정의 문장에 기반해 콘텐츠를 선택하면 텍스트의 중심 정보를 타겟으로 삼는 교육적으로 의미 있는 질문을 생성할 수 있는가?
• RQ3 교육 전문가들은 다양한 학문 분야에서 자동 생성된 질문의 언어적 품질과 교육적 관련성을 어떻게 평가하는가?
• RQ4 생성된 질문이 텍스트 기반의 중심 개념과 얼마나 일치하는가? 이는 일관된 정신적 모델 구축을 지원하는가?
• RQ5 이론에 기반한 콘텐츠 선택 메커니즘이 교육적 맥락에서 히وري스틱 또는 알고리즘적 접근 방식보다 우월한가?

주요 결과

• 전문가 평가 결과, 생성된 질문들은 언어적 품질이 매우 높았으며, 자연스러움과 문법적 정확성이 뛰어났다.
• 대부분의 질문이 교육적으로 적절하다고 평가되었으며, 텍스트의 중심 정보를 타겟으로 삼고 이해도 향상에 기여했다.
• 전문가들은 개별 질문의 유용성에 대해 자주 의견을 달리했으며, 이는 교육적 평가의 주관성에 기인하지만, 명확한 품질 추세가 관찰되었다.
• 시스템은 정의 문장을 성공적으로 식별하고 의미 있는 질문으로 변환했으며, 이는 정의 문장이 질문 생성에 적합한 콘텐츠 신호로 신뢰할 수 있음을 시사한다.
• 평가 결과는 텍스트 기반의 중심 개념을 목표로 삼는 것이 텍스트 이해를 향상시킨다는 이론적 주장이 타당함을 뒷받对方하며, 본 연구의 교육적 기반을 검증한다.
• 인터-평가자 간 일致도가 제한적이지만, 결과적으로 이 AQG 시스템이 높은 교육 수준의 맥락에서 측정 가능한 교육적 가치를 지닌 질문을 생성함을 시사한다.