[논문 리뷰] Adapting Large Language Models for Education: Foundational Capabilities, Potentials, and Challenges

Qingyao Li, Lingyue Fu외 7명|arXiv (Cornell University)|2023. 12. 27.

Topic Modeling인용 수 17

한 줄 요약

본 논문은 교육과 관련된 LLM 능력(수학, 작문, 프로그래밍, 추론, QA)을 조사하고 LLM 기반 교육 시스템을 위한 통합 설계와 mixture-of-experts 설계 중 어느 쪽이 적합한지 논의한다.

ABSTRACT

Online education platforms, leveraging the internet to distribute education resources, seek to provide convenient education but often fall short in real-time communication with students. They often struggle to address the diverse obstacles students encounter throughout their learning journey. Solving the problems encountered by students poses a significant challenge for traditional deep learning models, as it requires not only a broad spectrum of subject knowledge but also the ability to understand what constitutes a student's individual difficulties. It's challenging for traditional machine learning models, as they lack the capacity to comprehend students' personalized needs. Recently, the emergence of large language models (LLMs) offers the possibility for resolving this issue by comprehending individual requests. Although LLMs have been successful in various fields, creating an LLM-based education system is still challenging for the wide range of educational skills required. This paper reviews the recently emerged LLM research related to educational capabilities, including mathematics, writing, programming, reasoning, and knowledge-based question answering, with the aim to explore their potential in constructing the next-generation intelligent education system. Specifically, for each capability, we focus on investigating two aspects. Firstly, we examine the current state of LLMs regarding this capability: how advanced they have become, whether they surpass human abilities, and what deficiencies might exist. Secondly, we evaluate whether the development methods for LLMs in this area are generalizable, that is, whether these methods can be applied to construct a comprehensive educational supermodel with strengths across various capabilities, rather than being effective in only a singular aspect.

연구 동기 및 목표

• 현재 LLM이 교육 관련 능력(수학, 작문, 프로그래밍, 추론, 지식 기반 QA)에서 어떻게 성능을 발휘하는지 평가한다.
• LLM 기반 교육 시스템의 설계 접근 방식(통합 모델 대 mixture-of-experts)을 식별한다.
• 지능형 교육에서 LLM을 배치하기 위한 도전과제와 향후 방향을 강조한다.

제안 방법

• 다섯 가지 영역(수학, 작문, 프로그래밍, 추론, QA)에서의 교육적 능력에 대한 최근 LLM 연구를 검토하고 종합한다.
• OpenCompass, HuggingFace, C-Eval 등 공개 리더보드의 실험 결과와 벤치마드를 요약한다.
• 단일 통합 LLM 대 LLM 컨트롤러가 있는 mixture-of-experts의 두 가지 아키텍처 접근법을 논의한다.

실험 결과

연구 질문

• RQ1 교육 관련 과제(수학, 작문, 프로그래밍, 추론, QA)에서 LLM의 현재 능력 상태는 어떠한가?
• RQ2 통합 대 MoE 중 어떤 아키텍처가 LLM 기반 교육 시스템에 적합하며, 그 트레이드오프는 무엇인가?
• RQ3 교육 현장에서 LLM 배치를 방해하는 주요 도전과제는 무엇인가?

주요 결과

• GPT-4는 일반 교육 벤치마크에서 조사 대상 LLM 중 전반적인 성능이 가장 우수하다.
• LLMs는 여전히 TruthfulQA에서 인간보다 뒤처져 있어 사실성 및 안전한 응답에 공백이 존재한다.
• 모델 간 강점의 차이가 크게 나타나며, 일부는 텍스트 이해에 뛰어나지만 수학 및 프로그래밍에는 어려움을 겪는다.
• 교육 시스템을 위한 두 가지 실현 가능한 아키텍처는 모든 작업을 다루는 단일 모델과 LLM 컨트롤러를 가진 mixture-of-experts이다.
• 검색을 통한 개방 도메인 및 도메인 특정 QA 접근 방식은 헛구석 소거(hallucination)를 완화하고 사실적 근거를 강화할 수 있다.
• 벤치마크 전반의 평가 결과 어느 하나의 모델이 모든 능력에서 우위를 점하지 못한다는 점이 확인되었으며, 전문화된 또는 하이브리드 시스템의 필요성을 시사한다.