[논문 리뷰] When Generative AI Meets Workplace Learning: Creating A Realistic & Motivating Learning Experience With A Generative PCA

Andreas Bucher, Birgit Schenk외 2명|arXiv (Cornell University)|2024. 05. 24.

Intelligent Tutoring Systems and Adaptive Learning인용 수 5

한 줄 요약

이 논문은 조직 커뮤니케이션 훈련을 위한 Generative PCA (GenPCA)를 제안하고, 긍정적인 사용자 반응과 개선된 자기주도 학습을 보고한다. GenPCA를 통한 직장 학습의 한계와 개선점을 논의한다.

ABSTRACT

Workplace learning is used to train employees systematically, e.g., via e-learning or in 1:1 training. However, this is often deemed ineffective and costly. Whereas pure e-learning lacks the possibility of conversational exercise and personal contact, 1:1 training with human instructors involves a high level of personnel and organizational costs. Hence, pedagogical conversational agents (PCAs), based on generative AI, seem to compensate for the disadvantages of both forms. Following Action Design Research, this paper describes an organizational communication training with a Generative PCA (GenPCA). The evaluation shows promising results: the agent was perceived positively among employees and contributed to an improvement in self-determined learning. However, the integration of such agent comes not without limitations. We conclude with suggestions concerning the didactical methods, which are supported by a GenPCA, and possible improvements of such an agent for workplace learning.

연구 동기 및 목표

• Generative PCA의 활용을 동기부여하고 탐구하여 교수적 대화 에이전트를 통한 직장 학습을 향상시킨다.
• GenPCA가 비용을 절감하면서 e-learning의 이점과 인간 주도 훈련의 이점을 결합할 수 있는지 조사한다.
• 조직 훈련 맥락에서 사용자 인식과 자기결정 학습에 미치는 영향을 평가한다.
• GenPCA를 직장 학습 관행에 통합하기 위한 한계와 실용적 권고안을 식별한다.

제안 방법

• GenPCA 기반 조직 커뮤니케이션 훈련을 개발하고 구현하기 위해 Action Design Research를 적용한다.
• 교수적 상호작용과 실습을 지원하기 위해 Generative AI 기반 대화 에이전트를 사용한다.
• 정성적 및/또는 정량적 평가를 통해 사용자 인식과 학습 자율성 결과를 평가한다.
• 한계를 분석하고 구체적인 개선 제안과 함께 교수학적 권고를 제공한다.

실험 결과

연구 질문

• RQ1 Generative PCA가 직장 내 교육에서 현실적이고 동기를 부여하는 학습 경험을 지원하는가?
• RQ2 GenPCA가 직원들의 자기결정 학습과 참여에 어떤 영향을 미치는가?
• RQ3 조직 훈련에 GenPCA를 사용하는 데 어떤 한계가 나타나며, 이를 어떻게 완화할 수 있는가?
• RQ4 직장 학습에서 GenPCA에 의해 가장 잘 지원되거나 강화되는 교수학적 방법은 무엇인가?

주요 결과

• GenPCA 기반 에이전트에 대해 직원들 사이에서 긍정적으로 인지되었다.
• 에이전트가 자기결정 학습의 향상에 기여했다.
• 직장 학습에 GenPCA를 적용할 때 고려해야 할 통합상의 한계가 있다.
• 본 논문은 이러한 환경에서 GenPCA에 대한 교수학적 권고와 잠재적 개선점을 제공한다.