[논문 리뷰] Automatic Synthesis of Geometry Problems for an Intelligent Tutoring System

Chris Alvin, Sumit Gulwani외 2명|arXiv (Cornell University)|2015. 10. 29.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 10인용 수 5

한 줄 요약

이 논문은 주어진 기하도형과 그 성질로부터 개인화된 유클리드 기하학 증명 문제와 그 해답을 자동으로 합성하는 지능형 튜터링 시스템인 GeoTutor를 제시한다. 기하학적 추론의 초과그래프 표현과 히우리스틱 필터링을 사용하여, 155개의 교과서 문제당 약 8,000개의 흥미로운 문제와 약 3,000개의 역문제를 생성하며, 각 문제의 생성 시간은 4초 이내이다.

ABSTRACT

This paper presents an intelligent tutoring system, GeoTutor, for Euclidean Geometry that is automatically able to synthesize proof problems and their respective solutions given a geometric figure together with a set of properties true of it. GeoTutor can provide personalized practice problems that address student deficiencies in the subject matter.

연구 동기 및 목표

• 학생의 성과와 배경에 따라 개인화된 기하 증명 문제를 자동으로 생성할 수 있는 지능형 튜터링 시스템을 개발하는 것.
• 주어진 기하도형과 그 내재된 성질로부터 직접 및 역증명 문제를 자동으로 합성할 수 있도록 하는 것.
• 난이도, 흥미진도, 유사성 기반으로 생성된 문제를 분류하여 목표 학습 연습을 지원하고 도용을 줄이는 것.
• 기하학 튜터링 환경에서 학생이 제출한 증명에 대해 자동 피드백, 힌트, 채점 기능을 제공하는 것.
• 교육자들이 수동으로 문제를 제작하는 부담을 줄이기 위해 필요에 따라 새로운, 교육과정에 부합하는 문제를 자동 생성하는 것.

제안 방법

• 기하학적 도형을 초과그래프로 표현하여 노드는 기본 기하 명제이고, 초과간선은 유클리드 공리에서 유도된 추론이다.
• 학생별 가정과 히우리스틱을 활용해 추론의 초과그래프를 탐색하여 관련 증명 문제를 필터링하고 생성한다.
• 모든 주어진 가정이 필요로 하는 문제를 '흥미로운 문제'로, 모든 가정과 비트리비얼한 추론이 필요한 문제를 '엄격히 흥미로운 문제'로 정의하는 메트릭을 적용하여 단순하거나 대수적 문제를 방지한다.
• 기존 문제의 가정과 목표의 역할을 뒤바꿔서 역문제를 생성한다.
• 문제의 구조적 유사성과 해법 유사성 기반으로 유사 문제를 식별하여 어려움을 겪는 학생에게 목표 학습 연습을 지원한다.
• LiveGeometry와의 통합을 통해 웹 및 태블릿 환경에 배포 가능하게 하여 상호작용 가능한 문제 해결과 실시간 피드백을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지능형 튜터링 시스템은 주어진 기하도형과 그 성질로부터 개인화된 기하 증명 문제를 자동으로 합성할 수 있는가?
• RQ2 논리적 및 교육적 기준에 기반해 흥미로운 문제와 흥미로지 않은 문제를 구분할 수 있는가?
• RQ3 자동 생성된 문제가 얼마나 잘 기존 문제와 유사하거나 역문제로 분류될 수 있는가? 이는 적응형 학습을 지원하는 데에 얼마나 기여하는가?
• RQ4 다양한 난이도 수준의 문제를 생성하면서도 정확성과 교육적 관련성을 보장할 수 있는가?
• RQ5 이러한 시스템은 대규모로 고품질의 교육과정에 부합하는 문제를 얼마나 효율적으로 생성할 수 있는가?

주요 결과

• GeoTutor는 155개의 교과서 문제에서 약 8,307개의 문제를 합성하였으며, 이 중 4,120개는 흥미로운 문제로 분류되었고, 2,168개는 엄격히 흥미로운 문제로 분류되었다.
• 시스템은 약 3,097개의 역문제를 생성하였으며, 이 모든 문제들이 흥미로운 것으로 평가되어 원래 문제의 논리적 역전을 탐색할 수 있는 능력을 입증하였다.
• 평균적으로 각 문제의 생성 시간은 도형당 3.90초였으며, 실시간 교육적 활용에 있어 높은 확장성을 보였다.
• 흥미로운 문제의 평균 증명 폭은 4.85였고, 엄격히 흥미로운 문제의 평균 증명 폭은 6.10이었으며, 이는 높은 흥미도 분류일수록 복잡도가 증가함을 나타낸다.
• 흥미로운 문제의 평균 증명 길이는 4.67단계였고, 엄격히 흥미로운 문제의 평균 증명 길이는 5.53단계였으며, 이는 더 깊은 추론 요구 수준을 반영한다.
• 시스템은 평균적으로 교과서 문제당 19.7개의 엄격히 흥미로운 문제를 식별하여, 높은 품질의 비단순 연습 문제를 생성할 잠재력을 보였다.