[논문 리뷰] Large language model-powered chatbots for internationalizing student support in higher education

Achraf Hsain, Hamza El Housni|arXiv (Cornell University)|2024. 03. 16.

AI in Service Interactions인용 수 4

한 줄 요약

이 연구는 고등교육 기관의 학생 지원을 위한 GPT-3.5 및 GPT-4 Turbo 기반 챗봇을 설계하고 평가하며, 파이썬, 랭체인, 크로마 벡터 스토어를 활용해 실시간으로 정확하고 맥락 인식이 가능한 응답을 제공한다. 이 챗봇은 사용자 선호도, 응답 품질, 오류율 측면에서 전통적 방법보다 뚜렷이 뛰어나며, 고등교육 분야의 국제화 및 디지털 전환을 강화할 잠재력을 보여준다.

ABSTRACT

This research explores the integration of chatbot technology powered by GPT-3.5 and GPT-4 Turbo into higher education to enhance internationalization and leverage digital transformation. It delves into the design, implementation, and application of Large Language Models (LLMs) for improving student engagement, information access, and support. Utilizing technologies like Python 3, GPT API, LangChain, and Chroma Vector Store, the research emphasizes creating a high-quality, timely, and relevant transcript dataset for chatbot testing. Findings indicate the chatbot's efficacy in providing comprehensive responses, its preference over traditional methods by users, and a low error rate. Highlighting the chatbot's real-time engagement, memory capabilities, and critical data access, the study demonstrates its potential to elevate accessibility, efficiency, and satisfaction. Concluding, the research suggests the chatbot significantly aids higher education internationalization, proposing further investigation into digital technology's role in educational enhancement and strategy development.

연구 동기 및 목표

• 국제화가 진행 중인 고등교육 기관에서 확장 가능하고 다국어 지원이 가능한 학생 지원의 증가하는 수요를 해결하기 위해.
• 기존의 시간이 오래 걸리는 지원 채널에 대한 의존도를 줄이기 위해 AI 기반 챗봇을 도입하기 위해.
• 실시간으로 맥락 인식이 가능하고 정확한 정보 검색을 통해 학생의 참여도와 만족도를 향상시키기 위해.
• 다양한 학생 문의에 대해 낮은 오류율로 대응할 수 있는 LLM 기반 챗봇의 효과성을 평가하기 위해.
• 고등교육 기관의 디지털 전환를 지원하기 위해 고급 LLM 기술을 학생 서비스에 통합하기 위해.

제안 방법

• 자연어 이해 및 응답 생성을 위해 OpenAI API를 통해 GPT-3.5 및 GPT-4 Turbo를 활용한 챗봇을 개발하였다.
• 응답의 관련성을 향상시키기 위해 랭체인을 활용해 검색 기반 생성(RAG) 워크플로우를 조율하였다.
• 정확한 맥락 기반을 확보하기 위해 고유한 기관 정보를 담은 전사 자료를 색인하고 검색하기 위한 크로마 벡터 스토어를 구축하였다.
• 채팅 봇의 정보 검색 능력을 훈련 및 테스트하기 위해 정제되고 시기적절하며 관련성이 높은 전사 자료 데이터셋을 구축하였다.
• 다회화에서 일관성 있는 대화를 가능하게 하기 위해 메모리 및 맥락 유지 기능을 통합하였다.
• 실시간 상호작용과 동적 응답 생성을 가능하게 하기 위해 파이썬 3를 사용해 시스템을 구현하였다.

실험 결과

연구 질문

• RQ1 LLM 기반 챗봇은 고등교육 분야에서 학생의 문의에 대해 정확하고 종합적인 응답을 제공하는 데 얼마나 효과적인가?
• RQ2 기존의 학생 지원 방식에 비해 챗봇은 사용자 만족도를 얼마나 향상시키는가?
• RQ3 학술 환경에서 다양한 실제 학생 문의를 처리할 때 챗봇의 오류율은 얼마인가?
• RQ4 검색 기반 생성(RAG) 통합은 응답 품질과 관련성에 어떻게 기여하는가?
• RQ5 이러한 챗봇은 기관의 국제화 및 디지털 전환 노력에 어떻게 기여할 수 있는가?

주요 결과

• 채팅 봇은 학생의 문의에 대해 종합적이고 맥락에 부합하는 응답을 제공하는 데 높은 효과를 보였다.
• 사용자들은 전통적 지원 방식보다 챗봇을 선호하여 사용자 경험과 만족도 향상이 확인되었다.
• 시스템은 낮은 오류율을 기록하여 복잡하고 다양한 문의를 처리하는 데 신뢰성이 높음을 확인하였다.
• 실시간 상호작용 및 메모리 기능 덕분에 지속적이고 일관성 있으며 개인화된 상호작용가능성이 높아졌다.
• 크로마 벡터 스토어와 RAG 아키텍처의 통합은 정보 검색 정확도를 크게 향상시켰다.
• 이 챗봇은 고등교육 분야의 학생 지원 서비스의 접근성과 효율성을 향상시키는 데 효과적이었다.