[논문 리뷰] Using Large Language Models to Provide Explanatory Feedback to Human Tutors

Jionghao Lin, Danielle R. Thomas외 5명|arXiv (Cornell University)|2023. 06. 27.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 온라인 훈련 세션 동안 인간 튜터에게 실시간으로 설명 가능한 피드백을 제공하기 위해 대규모 언어 모델(Large Language Models, LLMs)과 명명된 실체 인식(Named Entity Recognition, NER)을 활용하는 것을 제안한다. 튜터의 반응을 '노력 기반'(예: 인내심을 칭찬하는 것) 또는 '결과 기반'(예: 올바른 답변을 칭찬하는 것) 칭찬으로 분류함으로써, 타겟팅된 템플릿 기반 피드백을 생성한다. 효과적인 칭찬을 식별하는 데 F1 스코어 0.811을 달성하여, 자동화되고 맥락 인식 기반의 피드백을 통해 튜터 훈련 향상 잠재력을 입증한다.

ABSTRACT

Research demonstrates learners engaging in the process of producing explanations to support their reasoning, can have a positive impact on learning. However, providing learners real-time explanatory feedback often presents challenges related to classification accuracy, particularly in domain-specific environments, containing situationally complex and nuanced responses. We present two approaches for supplying tutors real-time feedback within an online lesson on how to give students effective praise. This work-in-progress demonstrates considerable accuracy in binary classification for corrective feedback of effective, or effort-based (F1 score = 0.811), and ineffective, or outcome-based (F1 score = 0.350), praise responses. More notably, we introduce progress towards an enhanced approach of providing explanatory feedback using large language model-facilitated named entity recognition, which can provide tutors feedback, not only while engaging in lessons, but can potentially suggest real-time tutor moves. Future work involves leveraging large language models for data augmentation to improve accuracy, while also developing an explanatory feedback interface.

연구 동기 및 목표

• 온라인 훈련 세션 동안 초보 튜터에게 실시간으로 정확한 피드백을 제공하는 데 도전하는 것.
• 과정 중심 또는 노력 기반 칭찬과 같은 효과적인 칭찬 전략을 지원하는 설명 가능한 피드백을 제공함으로써 튜터 훈련을 향상시키는 것.
• 수동 평가에 의존하는 것을 줄이기 위해 LLM과 NER를 활용해 피드백 생성을 자동화하는 것.
• 반응의 효과성 또는 비효과성을 설명하는 즉각적이고 개인화된 피드백을 통해 튜터 학습을 향상시키는 것.
• 사회정서적 및 동기부여 지원 기법을 비전문 튜터에게 훈련하기 위한 확장 가능한 자동화 시스템을 개발하는 것.

제안 방법

• 튜터의 반응에서 핵심 칭찬 유형(예: 노력 기반, 결과 기반, 개인 기반 칭찬 등)을 식별하기 위해 대규모 언어 모델(LLMs)을 활용해 명명된 실체 인식(NER)을 수행하는 것.
• 식별된 명명된 실체(NEs)를 사전 정의된 설명 피드백 메시지로 매핑하는 템플릿 기반 피드백 시스템을 사용하는 것.
• NER 태깅된 반응을 바탕으로 튜터 반응을 양성 분류(효과적: 노력 기반) 또는 부정성 분류(비효과적: 결과 기반)로 분류하는 것.
• 예: '‘[삽입: 노력]’이라고 말하는 것은 과정 중심 칭찬의 좋은 예시입니다.

실험 결과

연구 질문

• RQ1 RQ1: 교정 피드백을 제공하기 위해 튜터 반응을 효과적 또는 비효과적으로 분류하는 데 이진 분류 방법을 적용할 수 있는가?
• RQ2 RQ2: LLM을 활용한 NER는 튜터 반응의 핵심 구성 요소를 식별함으로써 설명 가능한 피드백을 어떻게 향상시킬 수 있는가?
• RQ3 RQ3: 튜터 반응 데이터에서 흔히 발생하는 저자원 및 불균형 데이터셋에서 NER 성능을 어떻게 향상시킬 수 있는가?
• RQ4 RQ4: '효과적인 칭찬 제공' 외의 다양한 훈련 수업에 대해서도 피드백 시스템이 일반화될 수 있는가?

주요 결과

• 시스템은 노력 기반(효과적) 칭찬 반응을 분류하는 데 F1 스코어 0.811을 기록하여 바람직한 튜터링 행동을 식별하는 데 강력한 성능을 보였다.
• 시스템은 결과 기반(비효과적) 칭찬 반응을 분류하는 데 F1 스코어 0.350을 기록하여 덜 바람직한 칭찬 유형을 탐지하는 데 어려움을 겪고 있음을 시사했다.
• 부분적 정확도와 진짜 음성 예측이 관찰되어, 전통적인 F1 스코어가 미묘한 피드백 맥락에서 모델의 유용성을 완전히 반영하지 못할 수 있음을 시사했다.
• 모델의 신뢰도 수준이 시스템 신뢰성에 매우 중요하다는 점이 확인되어, 저신뢰도 예측에 대해 헤지된 피드백 응답(예: '아마도')을 설계하게 되었다.
• 저자원 환경에서 NER 성능 향상을 위해 LLM 기반 예시 생성 및 동의어 교체와 같은 데이터 증강 기법이 탐색되고 있다.
• 향후 연구에서는 특히 약 70% 이상의 태그가 'O'(실체 없음)인 점을 고려해, 클래스 불균형 문제를 더 잘 다루기 위해 AUC 최적화 기법을 탐구할 예정이다.