[논문 리뷰] Social Skill Training with Large Language Models

Diyi Yang, Caleb Ziems외 4명|arXiv (Cornell University)|2024. 04. 05.

Topic Modeling인용 수 5

한 줄 요약

대규모 언어 모델을 활용한 확장 가능하고 안전하며 맞춤형 사회적 기술 훈련을 가능하게 하는 AI 파트너와 AI 멘토를 결합한 APAM 프레임워크를 제안하며, 구현 가이드 및 평가 고려 사항을 다룹니다.

ABSTRACT

People rely on social skills like conflict resolution to communicate effectively and to thrive in both work and personal life. However, practice environments for social skills are typically out of reach for most people. How can we make social skill training more available, accessible, and inviting? Drawing upon interdisciplinary research from communication and psychology, this perspective paper identifies social skill barriers to enter specialized fields. Then we present a solution that leverages large language models for social skill training via a generic framework. Our AI Partner, AI Mentor framework merges experiential learning with realistic practice and tailored feedback. This work ultimately calls for cross-disciplinary innovation to address the broader implications for workforce development and social equality.

연구 동기 및 목표

• 사회적 기술 훈련에 대한 접근 장벽을 식별하고 확장 가능한 해결책의 필요성을 동기화한다.
• 경험적 실습과 전문 피드백을 결합하기 위한 APAM 프레임워크(AI Partner와 AI Mentor)를 도입한다.
• AI Partners의 설계 고려사항(일관성, 현실성, 커리큘럼)과 AI Mentors의 설계 고려사항(도메인 기반 grounding, 맥락적 피드백)을 설명한다.
• APAM 시스템 개발을 위한 네 단계 방법론을 개요하고 안전성, 평가, 광범위한 사회적 함의에 대해 논의한다.

제안 방법

• 사회적 기술 훈련을 네 단계 프로세스로 정의한다: 기본 사회적 과정을 이해하고, AI Partner 시뮬레이션을 설계하고, 개인화된 피드백을 제공하는 AI Mentor를 만들고, 이를 안전한 시뮬레이션 환경에 통합한다.
• AI Partner를 위한 LLM 기반 시뮬레이션을 활용하여 현실적인 연습 시나리오를 제공한다.
• 도메인 기반 피드백을 제시하는 AI Mentor를 활용하며, 관련 이론과 프레임워크(예: motivational interviewing, conflict resolution)를 인용한다.
• 지식의 근거를 유지하고 최신성을 보장하기 위해 retrieval-augmented generation과 planning 모듈의 통합을 제안한다.
• 고위험 도메인에서 위험을 관리하기 위한 안전 연속선과 배치 모드에 대해 논의한다.

실험 결과

연구 질문

• RQ1 현실적이고 다양하며 안전한 사회적 상호 작용 연습을 제공하도록 AI Partner와 AI Mentor를 어떻게 설계할 수 있는가?
• RQ2 APAM이 경험적 실습을 이론에 기반한 피드백과 어떻게 통합하여 학습 성과를 향상시킬 수 있는가?
• RQ3 APAM 시스템의 책임 있는 배치를 위해 필요한 안전성, 평가 및 최종 사용자 제어 메커니즘은 무엇인가?
• RQ4 APAM을 상담, 분쟁 조정, 교육 등 다양한 도메인에 어떻게 적용할 수 있으며 어떤 측정 가능한 영향이 기대되는가?

주요 결과

• APAM은 사회적 기술에 대한 경험적 학습과 맞춤형 피드백에 대한 확장 가능한 경로를 제공한다.
• AI Partner 시뮬레이션은 현실적인 연습을 가능하게 하면서 위험과 접근 장벽을 줄인다.
• AI Mentor는 맥락과 학습자 상태에 맞춘 이론 기반의 피드백을 실제 상황에 근거해 제공한다.
• 안전 모델은 고위험 도메인에서 책임 있는 사용을 위한 연속선 기반 배치 모드를 제안한다.
• 예시는 CARE(peer counseling), Rehearsal(conflict rehearsal), GPTeach(education)에서의 APAM 활용 사례를 보여준다.
• 평가 가이드는 고유 NLP 지표와 외재적이고 도메인 관련 교육적 결과를 결합하는 것을 강조한다.