[논문 리뷰] Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)

Stanley Uros Keller|arXiv (Cornell University)|2021. 09. 27.

Intelligent Tutoring Systems and Adaptive Learning인용 수 6

한 줄 요약

이 논문은 수학적 통계 분야의 다양한, 맥락이 풍부한 문제를 자동으로 생성하는 모듈러한 NLP 프레임워크를 제안한다. 이는 문법적으로 올바르고 의미적으로 일관되며 내용적으로 타당한 문제를 생성한다. 대규모 언어 모델을 통한 약속 생성, 갈등 탐지, 일관성 모델링을 통합함으로써, 간단한 문제에서 최대 86%의 성공률을 달성하는 등 높은 타당성을 확보하면서도, 구성 가능한 모듈을 통해 생성 속도와 정확성 사이의 트레이드오프를 조정할 수 있다.

ABSTRACT

Digital learning platforms enable students to learn on a flexible and individual schedule as well as providing instant feedback mechanisms. The field of STEM education requires students to solve numerous training exercises to grasp underlying concepts. It is apparent that there are restrictions in current online education in terms of exercise diversity and individuality. Many exercises show little variance in structure and content, hindering the adoption of abstraction capabilities by students. This thesis proposes an approach to generate diverse, context rich word problems. In addition to requiring the generated language to be grammatically correct, the nature of word problems implies additional constraints on the validity of contents. The proposed approach is proven to be effective in generating valid word problems for mathematical statistics. The experimental results present a tradeoff between generation time and exercise validity. The system can easily be parametrized to handle this tradeoff according to the requirements of specific use cases.

연구 동기 및 목표

• 온라인 과학, 기술, 공학, 수학(STEM) 학습 연습에서 다양성과 개별성의 부족이 핵심 개념을 추상화하는 데 학생들의 능력을 저해한다는 점을 해결하기 위해.
• 인간 검증을 통한 연습 문제 생성의 한계를 극복하기 위해 유효하고 맥락이 풍부한 문제를 자동으로 생성하기 위해.
• 생성된 문제들이 완전성, 정확성, 일관성, 모호성 제거라는 엄격한 타당성 조건을 충족하도록 보장하기 위해.
• 단순히 숫자를 바꾸는 것 외에도 다양한 구성 요소를 포함한 문제를 생성함으로써 깊이 있는 개념적 이해를 촉진하기 위해.
• 사람이 개입하는 방식과 완전히 자동화된 방식을 모두 지원하는 확장 가능한 모듈러 시스템을 설계하기 위해.

제안 방법

• 시스템은 내용 타당성을 보장하기 위해 약속 생성, 갈등 탐지, 일관성 모델링을 포함한 모듈러한 파이프라인을 사용한다.
• 대규모 언어 모델(Large language models, LLMs)은 사용자가 정의한 연습 정의 및 프롬프트에 기반해 단어 문제를 생성하도록 유도된다.
• 약속 생성 모듈은 완전성을 확보하기 위해 필수 매개변수(예: 표준편차)가 포함되어 있는지 확인한다.
• 갈등 탐지 모듈은 규칙 기반 및 임베딩 기반 방법을 사용해 수학적 모순(예: 음수 확률)이 있는지 점검한다.
• 일관성은 문장 수준의 임베딩 유사도(코사인 거리) 및 다음 문장 예측(NSP) 점수를 통해 강제로 적용된다.
• 시스템은 모듈의 설정을 통해 생성 속도와 타당성 사이의 균형을 조정할 수 있으며, 사용 사례에 맞는 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈러한 NLP 시스템은 수학적 통계 분야에서 유효하고 일관되며 다양한 단어 문제를 생성할 수 있는가?
• RQ2 약속 생성과 갈등 탐지의 통합은 표준 언어 모델링에 비해 내용 타당성을 어떻게 향상시키는가?
• RQ3 생성 속도와 타당성 사이의 트레이드오프는 무엇이며, 이를 시스템 설정을 통해 제어할 수 있는가?
• RQ4 시스템의 모듈러성은 더 넓은 교육적 응용 분야에서의 확장성과 확장성 지원에 얼마나 기여하는가?
• RQ5 시스템의 프롬프트 및 설정을 설계하는 과정이 학생들의 개념적 이해를 향상시키는가?

주요 결과

• 갈등 탐지와 일관성 모델링(코사인 거리 + NSP)을 모두 사용할 경우, 간단한 문제에서 86%의 성공률을 기록했으며, 이는 기준 설정보다 뚜렷이 높은 성과였다.
• 갈등 탐지와 일관성 모델링(코사인 거리 및 NSP)을 결합한 경우가 가장 높은 타당성을 보였으며, 이는 쉬운 문제에서 86%, 중간 문제에서 74%, 어려운 문제에서 76%의 성공률을 기록했다.
• 일관성 모델링을 제거하면 쉬운 문제에서 성공률가 7%로 떨어졌으며, 이는 일관성이 타당성에 있어 핵심 요소임을 시사한다.
• 콘텐츠 다양성은 콘텐츠 엔트로피(H)로 측정되었으며, 다양한 설정에서도 높은 수준(4.7–5.4)을 유지하여, 유효성 제약 조건에도 불구하고 다양성이 유지됨을 확인했다.
• 제거 분석 결과, 갈등 탐지와 일관성 모델링이 높은 타당성에 필수적임을 입증했으며, 오직 완전성만 확보할 경우 성공률가 6%로 급격히 감소했다.
• 시스템은 생성 시간과 타당성 사이에 명확한 트레이드오프를 보였으며, 전체 검증을 거치는 데 더 오래 걸리지만, 그만큼 더 정확한 문제를 생성함을 입증했다.