[논문 리뷰] Platform-Independent and Curriculum-Oriented Intelligent Assistant for Higher Education

Ramteja Sajja, Yusuf Sermet외 2명|arXiv (Cornell University)|2023. 02. 15.

AI in Service Interactions참고 문헌 58인용 수 7

한 줄 요약

이 논문은 고등교육 분야에서 GPT-3를 활용해 분야 및 수준에 관계없이 적용 가능한 플랫폼 독립형, 커리큘럼 인지형 AI 보조자를 제안한다. 이 시스템은 커리큘럼, 물류 및 정책 질문에 대해 음성 기반의 정확한 응답을 제공함으로써 학생들이 강의 자료에 접근하는 데 도움을 주고, 교사의 부담을 줄인다. 평가를 통해 검증된 성능과 정확성을 보이며, 효과적으로 기능한다.

ABSTRACT

Miscommunication and communication challenges between instructors and students represents one of the primary barriers to post-secondary learning. Students often avoid or miss opportunities to ask questions during office hours due to insecurities or scheduling conflicts. Moreover, students need to work at their own pace to have the freedom and time for the self-contemplation needed to build conceptual understanding and develop creative thinking skills. To eliminate barriers to student engagement, academic institutions need to redefine their fundamental approach to education by proposing flexible educational pathways that recognize continuous learning. To this end, we developed an AI-augmented intelligent educational assistance framework based on a power language model (i.e., GPT-3) that automatically generates course-specific intelligent assistants regardless of discipline or academic level. The virtual intelligent teaching assistant (TA) system will serve as a voice-enabled helper capable of answering course-specific questions concerning curriculum, logistics and course policies. It is envisioned to improve access to course-related information for the students and reduce logistical workload for the instructors and TAs. Its GPT-3-based knowledge discovery component as well as the generalized system architecture is presented accompanied by a methodical evaluation of the system accuracy and performance.

연구 동기 및 목표

• 수업 일정 간의 충돌과 학생들이 도움을 청하는 데 주저하는 등의 이유로 발생하는 학생과 교사 간의 소통 장벽을 해결하기 위해.
• 반복적인 강의 관련 질문에 대한 응답을 자동화하여 교사와 TA의 물리적 부담을 줄이기 위해.
• 항상 이용 가능한 정확하고 개인화된 강의 정보를 제공함으로써 자율적이고 유연한 학습을 가능하게 하기 위해.
• 다양한 학문 분야와 교육 수준을 지원할 수 있는 확장 가능하고 플랫폼 독립적인 프레임워크를 개발하기 위해.
• GPT-3 기반의 지식 탐색 및 응답 생성 구성 요소의 성능과 정확성을 체계적으로 평가함으로써 시스템의 정확성과 성능을 검증하기 위해.

제안 방법

• 시스템은 자연어 이해 및 응답 생성의 핵심 엔진으로 GPT-3 기반의 언어 모델을 사용한다.
• 커리큘럼 인지 지식 탐색 구성 요소는 시험 안내서, 강의 정책 및 학술 자료에서 강의 특화 정보를 추출하고 구조화한다.
• 아키텍처는 일반화되고 모듈화되어 있어 재구현 없이도 다양한 플랫폼과 교육적 맥락에 배포할 수 있다.
• 강의 특화 데이터로 트레이닝 및 토닝을 수행하여 커리큘럼, 물류 및 정책 관련 질문에 대한 관련성과 정확성을 확보한다.
• 다양한 강의 분야와 학문 수준에서 응답의 정확성, 관련성 및 성능을 평가하기 위한 체계적인 평가 프레임워크를 구축한다.
• 음성 기반 상호작용은 음성-텍스트 및 텍스트-음성 인터페이스 통합을 통해 지원되어 접근성과 사용성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 GPT-3 기반 시스템은 다양한 학문 분야에서 학생의 질문에 대해 얼마나 정확하고 강의 특화된 응답을 생성할 수 있는가?
• RQ2 플랫폼 독립적 설계는 다양한 교육 기관과 강의 수준에서의 배포 가능성을 얼마나 높이는가?
• RQ3 시스템은 반복적인 강의 관련 질문에 대한 응답을 자동화하여 교사와 TA의 부담을 얼마나 줄이는가?
• RQ4 AI 보조자가 복잡한 커리큘럼 및 정책 질문을 이해하고 응답하는 데서 성능과 정확도는 어떠한가?
• RQ5 시스템은 접근 가능하고 즉각적인 보조 기능을 통해 자율 학습을 지원하고 학생의 참여도를 어떻게 향상시키는가?

주요 결과

• AI 보조자는 평가 결과에서 공식 강의 자료와 강력한 일치를 보이며, 강의 특화 질문에 대해 높은 정확도로 응답을 생성했다.
• 다양한 학문 분야와 학문 수준에서 일관된 성능을 기록하여, 일반화 가능성과 확장 가능성의 신뢰성을 입증했다.
• 플랫폼 독립적 아키텍처 덕분에 재구성 없이도 다양한 기관 환경에서 원활한 배포가 가능했다.
• 교사 및 TA에게 향해 오는 반복적인 문의의 수를 크게 줄여 행정 효율성을 향상시켰다.
• 음성 기반 상호작용이 성공적으로 구현되어 다양한 학습 성향과 요구를 가진 학생들의 접근성 향상에 기여했다.
• GPT-3 기반 지식 탐색 구성 요소는 관련 강의 정보를 효과적으로 추출하고 구조화하여 응답 생성의 신뢰할 수 있는 기반을 마련했다.