[논문 리뷰] SPL: A Socratic Playground for Learning Powered by Large Language Model

Liang Zhang, Jionghao Lin외 3명|arXiv (Cornell University)|2024. 06. 20.

Innovative Teaching and Learning MethodsPsychology인용 수 3

한 줄 요약

이 논문은 GPT-4를 기반으로 한 대화 기반 지능형 튜터링 시스템(SPL)을 소개한다. 이 시스템은 사색적 교수법을 활용해 비판적 사고를 촉진하는 상호작용적이고 다단계 튜터링 대화를 제공한다. 고도의 프롬프트 엔지니어링을 통해 SPL은 수업 설계를 자동화하고 개인 맞춤형, 적응형 학습 경험을 제공하며, 시범 결과에서는 학습자의 참여도와 에세이 작성 과제에서의 비판적 사고 능력 향상이 확인되었다.

ABSTRACT

Dialogue-based Intelligent Tutoring Systems (ITSs) have significantly advanced adaptive and personalized learning by automating sophisticated human tutoring strategies within interactive dialogues. However, replicating the nuanced patterns of expert human communication remains a challenge in Natural Language Processing (NLP). Recent advancements in NLP, particularly Large Language Models (LLMs) such as OpenAI's GPT-4, offer promising solutions by providing human-like and context-aware responses based on extensive pre-trained knowledge. Motivated by the effectiveness of LLMs in various educational tasks (e.g., content creation and summarization, problem-solving, and automated feedback provision), our study introduces the Socratic Playground for Learning (SPL), a dialogue-based ITS powered by the GPT-4 model, which employs the Socratic teaching method to foster critical thinking among learners. Through extensive prompt engineering, SPL can generate specific learning scenarios and facilitates efficient multi-turn tutoring dialogues. The SPL system aims to enhance personalized and adaptive learning experiences tailored to individual needs, specifically focusing on improving critical thinking skills. Our pilot experimental results from essay writing tasks demonstrate SPL has the potential to improve tutoring interactions and further enhance dialogue-based ITS functionalities. Our study, exemplified by SPL, demonstrates how LLMs enhance dialogue-based ITSs and expand the accessibility and efficacy of educational technologies.

연구 동기 및 목표

• 전문가 수준의 인간 튜터링을 모방하는 대화 기반 지능형 튜터링 시스템(ITS)을 개발하는 것.
• 대규모 언어 모델(LLM), 특히 GPT-4를 활용하여 수업 설계를 자동화하고 적응형, 개인 맞춤형 학습 경험을 가능하게 하는 것.
• 무엇?, 왜?, 어떻게?, 누가?, 언제?와 같은 wh-질문을 중심으로 다단계 대화를 통해 학습자의 비판적 사고 능력 향상과 깊이 있는 이해 증진을 도모하는 것.
• 수동적인 수업 설계와 사전 정의된 규칙에 의존하는 것을 줄이고, LLM을 활용해 동적이고 맥락 인식 기반 튜터링을 가능하게 하는 것.
• 에세이 작성 과제에서 학습자 참여도와 교육적 성과 향상 여부를 평가하는 것.

제안 방법

• 시스템은 고도의 프롬프트 엔지니어링을 통해 GPT-4를 활용해 맥락 인식 기반의 인간 같은 튜터링 응답을 생성한다.
• 사색적 교수법을 적용하여 개방형 wh-질문을 통해 자율적 반성과 비판적 사고를 자극하는 대화를 시작한다.
• 표준화된 프롬프트 템플릿을 사용해 특정 학습 시나리오와 교육적 맥락에 맞는 수업 생성을 자동화한다.
• 교육 원칙(예: 근접한 발달 영역)을 통합하고 다단계 대화를 지원함으로써 학습자를 단계별로 안내하는 인터페이스를 구현한다.
• 사고의 사슬(chain-of-thought) 및 소수의 예시(few-shot prompting) 프롬프트 전략을 사용해 추론 능력과 응답 품질을 향상시킨다.
• 다양한 학습자 프로필과 교육 분야에 맞게 유연하고 생성 기반의 AI 기능을 통해 적응형 튜터링을 가능하게 한다.

Figure 1: An Example Interactive Dialogue Interface of SPL System.

실험 결과

연구 질문

• RQ1 GPT-4 기반의 대화 시스템은 사색적 교수법을 효과적으로 모방하여 학습자의 비판적 사고 능력을 향상시킬 수 있는가?
• RQ2 伝통적인 ITS 접근 방식에 비해 SPL은 에세이 작성 과제에서 학습자의 참여도와 이해도를 어느 정도 향상시키는가?
• RQ3 프롬프트 엔지니어링을 통해 사전 정의된 규칙 없이도 자동화되고 적응형이며 개인 맞춤형 튜터링을 가능하게 할 수 있는가?
• RQ4 다단계의 wh-질문 기반 대화는 학습자의 성과와 반성 능력에 어떤 영향을 미치는가?
• RQ5 실제 교육 상황에서 시스템의 피드백 및 평가 기능은 얼마나 견고하고 일관된가?

주요 결과

• 시범 테스트 결과, SPL은 상호작용적이고 사색적인 대화를 통해 에세이 작성 과제에서 학습자의 참여도와 만족도를 크게 향상시켰다.
• 무엇?, 왜?, 어떻게? 등의 wh-질문을 활용한 체계적인 다단계 대화를 통해 학습자가 비판적 사고 능력을 기를 수 있도록 효과적으로 이끌었다.
• GPT-4를 통한 교육 콘텐츠 생성 자동화로 수동 수업 설계 및 규칙 기반 시스템에 대한 의존도를 감소시켰다.
• 다양한 교육적 맥락과 학습자 프로필에 걸쳐 확장성과 적응성의 잠재력을 보였다.
• 초기 결과로 SPL은 튜터링 상호작용의 품질을 향상시키고 학습자의 깊이 있는 이해를 지원하는 데 기여했다.
• 에세이 제출물 평가 프레임워크는 AI가 생성한 피드백의 견고성, 민감도 및 심리측정적 일관성 평가에 있어 잠재력을 보였다.

Figure 2: The Socratic Playground for Learning System Architecture.