[논문 리뷰] Towards Applying Powerful Large AI Models in Classroom Teaching: Opportunities, Challenges and Prospects

Kehui Tan, Tianqi Pang외 2명|arXiv (Cornell University)|2023. 05. 05.

Topic Modeling인용 수 15

한 줄 요약

이 관점 논문은 대화 자동완성, 지식/스타일 전이, 그리고 AIGC 평가를 통해 교실 수업을 대화 기반으로 강화하고, 인간-루프 평가 및 외부 LLM 파인튜닝을 포함하는 단일 프레임워크를 제시한다.

ABSTRACT

This perspective paper proposes a series of interactive scenarios that utilize Artificial Intelligence (AI) to enhance classroom teaching, such as dialogue auto-completion, knowledge and style transfer, and assessment of AI-generated content. By leveraging recent developments in Large Language Models (LLMs), we explore the potential of AI to augment and enrich teacher-student dialogues and improve the quality of teaching. Our goal is to produce innovative and meaningful conversations between teachers and students, create standards for evaluation, and improve the efficacy of AI-for-Education initiatives. In Section 3, we discuss the challenges of utilizing existing LLMs to effectively complete the educated tasks and present a unified framework for addressing diverse education dataset, processing lengthy conversations, and condensing information to better accomplish more downstream tasks. In Section 4, we summarize the pivoting tasks including Teacher-Student Dialogue Auto-Completion, Expert Teaching Knowledge and Style Transfer, and Assessment of AI-Generated Content (AIGC), providing a clear path for future research. In Section 5, we also explore the use of external and adjustable LLMs to improve the generated content through human-in-the-loop supervision and reinforcement learning. Ultimately, this paper seeks to highlight the potential for AI to aid the field of education and promote its further exploration.

연구 동기 및 목표

• 교사-학생 대화를 향상시키기 위한 인터랙티브한 AI 증강 교실 시나리오를 제안한다.
• 기존 LLM을 교육 과제에 적용할 때의 한계점을 식별하고 긴 대화와 다운스트림 작업을 다루기 위한 통합 프레임워크를 제안한다.
• 세 가지 핵심 시나리오를 제시한다— 대화 자동완성, 전문가 지식 및 스타일 전이, 그리고 AI 생성 콘텐츠(AIGC)의 평가.
• 교육 현장에서 AIGC를 평가하기 위한 인간 피드백, LLM 기반 평가, 외부 LLM 평가를 결합한 평가 방법을 개요로 제시한다.
• 교수 데이터베이스와 인간 평가를 활용한 외부 LLM 미세조정 방법을 제안한다.

제안 방법

• D-Encoder(대화 인코더)를 도입하여 긴 대화를 다운스트림 작업용 밀집 Teaching Scheme으로 압축한다.
• 토큰 한도를 관리하고 중요한 정보를 보존하기 위해 세분화된 텍스트 인코딩, 핵심 문장 압축, 세분화된 압축 및 마스킹된 대화 내용을 설명한다.
• 실용적인 프롬프트와 구성으로 세 가지 구체적인 교실 시나리오를 정의한다: Teacher-Student Dialogue Auto-Completion, Expert Teaching Knowledge and Style Transfer, and Assessment of AIGC.
• AIGC 품질 평가를 위한 HF-Eval (human feedback), LLM-Eval (LLM 기반), Ext-LLM-Eval (외부 LLM 기반)의 세 가지 평가 프레임워크를 제안한다.
• Ext-LLMs의 감독 학습 순위 손실과 RLHF를 사용하여 인간 판단과 일치시키는 미세조정 전략을 제시한다.

실험 결과

연구 질문

• RQ1 긴 교실 대화를 다운스트림 작업 정보를 보존하는 Teaching Scheme으로 축약하려면 어떻게 해야 하나?
• RQ2 수업 진행을 방해하지 않으면서 AI 기반 시나리오가 교실 수업을 가장 잘 보강할 수 있을까?
• RQ3 인간과 모델 기반 방법을 사용하여 교육 현장에서 AIGC를 공정하게 평가하려면 어떻게 해야 하나?
• RQ4 외부 LLM을 어떻게 미세조정하여 교수 콘텐츠를 신뢰성 있게 평가하고 코멘트하도록 할 수 있을까?

주요 결과

• 통합 프레임워크(D-Encoder)는 긴 대화를 다운스트림 AI 작업에 적합한 Teaching Scheme으로 변환할 수 있다.
• 세 가지 실용적인 시나리오가 확인되었다: 대화 자동완성, 전문가 지식/스타일 전이, 그리고 AIGC 평가.
• 교육 현장에서 AIGC를 평가하기 위한 평가 방법의 삼합(HF-Eval, LLM-Eval, Ext-LLM-Eval)을 제안한다.
• 외부 LLM은 감독 순위 손실과 RLHF로 미세조정하여 인간의 채점 및 피드백에 일치시킬 수 있다.
• 대화 내용을 마스킹하고 세분화된 압축은 토큰 한도를 완화하면서도 필수적인 수업 정보 보존에 도움을 준다.
• CoT 프롬프트를 사용하여 외부 LLM이 전문적인 코멘트를 제공하도록 학습시킬 수 있다.