[논문 리뷰] Contextualizing Problems to Student Interests at Scale in Intelligent Tutoring System Using Large Language Models

Gautam Ganapati Yadav, Ying-Jui Tseng외 1명|arXiv (Cornell University)|2023. 05. 31.

Text Readability and Simplification인용 수 6

한 줄 요약

이 논문은 GPT-4를 활용해 지능형 튜터링 시스템(CTAT)에서 대규모로 학생의 관심사와 연계된 대수학 단어 문제를 자동으로 맥락화하는 방법을 제안한다. 반복적인 프롬프트 엔지니어링을 통해 문제의 난이도와 원래 의도를 유지하면서도, 값이나 불필요한 복잡성 없이 개인화된 문제를 대량 생산할 수 있도록 한다. 이 방법은 문제의 수치나 구조를 변경하지 않으면서도 참여도 향상 잠재력을 크게 높인다.

ABSTRACT

Contextualizing problems to align with student interests can significantly improve learning outcomes. However, this task often presents scalability challenges due to resource and time constraints. Recent advancements in Large Language Models (LLMs) like GPT-4 offer potential solutions to these issues. This study explores the ability of GPT-4 in the contextualization of problems within CTAT, an intelligent tutoring system, aiming to increase student engagement and enhance learning outcomes. Through iterative prompt engineering, we achieved meaningful contextualization that preserved the difficulty and original intent of the problem, thereby not altering values or overcomplicating the questions. While our research highlights the potential of LLMs in educational settings, we acknowledge current limitations, particularly with geometry problems, and emphasize the need for ongoing evaluation and research. Future work includes systematic studies to measure the impact of this tool on students' learning outcomes and enhancements to handle a broader range of problems.

연구 동기 및 목표

• 지능형 튜터링 시스템에서 학생의 관심사에 맞게 수작업으로 개인화된 단어 문제를 확장하는 데 있어 발생하는 확장성 문제를 해결하기 위해.
• GPT-4와 같은 대규모 언어 모델이 대규모로 맥락적으로 관련 있고 교육적으로 타당한 문제 변형을 생성할 수 있는지 탐색하기 위해.
• 학생별 관심사를 통합하면서도 원래 문제의 수학적 구조, 값, 의도를 유지하기 위해.
• CTAT에서 대량의 관심 기반 문제 변형을 생성하기 위한 실용적이고 교사가 제어할 수 있는 워크플로우를 개발하기 위해.
• LLM이 교육 콘텐츠의 맥락화에 있어 타당성과 제한점을 평가하기 위해, 특히 기하학 및 시각 문제에 대해.

제안 방법

• 다양한 관심사 예시를 활용한 흩어진 예시 학습 방식을 통해 GPT-4가 맥락적으로 rich한 문제 변형을 생성하도록 유도하기 위해 반복적인 프롬프트 엔지니어링을 적용하였다.
• 엄격한 규칙 적용: 수치 값 변경 금지, 불필요한 질문 추가 금지, 문제 서술의 과도한 복잡화 금지.
• 교사 주도의 문제 작성 기능에 '관심사 기반 맥락화' 탭을 통합하여 CTAT 플랫폼과 GPT-4를 연동하였다.
• 학생이 사용하는 인터페이스에서 생성된 문제의 실시간 미리보기 및 편집 기능을 제공하여 품질과 의도 일치성을 확보하였다.
• 맥락화 정밀도를 테스트하기 위해 주로 일차 방정식과 식을 포함한 대수학 단어 문제에 집중하였다.
• 정의된 변수와 다중 부분 질문을 포함한 입력 문제를 NBA, 틱톡, 비디오 게임 등의 관심사 기반 내러티브로 변환하였다.

Figure 1: User can enter or add interests in the “Contexualize By Interest” tab

실험 결과

연구 질문

• RQ1 GPT-4는 원래 문제의 수학적 값과 구조를 유지하면서도 다양한 학생의 관심사와 연계된 맥락적으로 개인화된 대수학 단어 문제를 생성할 수 있는가?
• RQ2 학생의 관심사에 기반한 맥락화가 지능형 튜터링 시스템에서 참여도와 학습 성과를 얼마나 향상시키는가?
• RQ3 반복적인 프롬프트 엔지니어링은 LLM이 생성한 문제가 교육적으로 타당하고 불필요한 복잡성 없이 유지되는 데 얼마나 효과적인가?
• RQ4 현재 LLM이 그림이나 시각적 표현이 필요한 문제, 예를 들어 기하학 문제를 다룰 때의 한계는 무엇인가?
• RQ5 제안된 방법은 문제의 무결성을 해치지 않으면서도 다양한 학생의 관심사를 수용할 수 있도록 확장 가능한가?

주요 결과

• GPT-4는 NBA, 틱톡, 비디오 게임 등 다양한 학생의 관심사와 연계된 맥락적으로 관련 있고 수학적으로 정확한 문제 변형을 성공적으로 생성하였다.
• 원래 문제의 수치와 구조를 유지하면서도, 과도한 복잡화나 의도의 의도적 변경 없이 문제의 본질을 그대로 유지하였다.
• 희소 예시를 활용한 반복적인 프롬프트 엔지니어링은 생성된 문제 맥락의 일관성과 품질을 크게 향상시켰다.
• 시스템은 CTAT 플랫폼 내에서 교사가 제어할 수 있는 대량의 개인화된 문제 생성을 가능하게 하여 실질적인 교실 통합을 지원하였다.
• 대수학 단어 문제에서는 뛰어난 성능을 보였지만, 그림이나 시각적 표현이 필요한 기하학 문제에서는 GPT-4가 어려움을 겪었다.
• 현재 접근법은 시각적 구성 요소를 생성하지 않아, 그래픽적 또는 공간적 이해가 필요한 문제에 대한 활용도가 제한된다.

Figure 2: After user click the “CONTEXUALIZE” button, they can preview and edit the contexualized problems. For example, this figure show how the system contexualized the original algebra problem based on the “TikTok” interest.