[論文レビュー] Training Novices: The Role of Human-AI Collaboration and Knowledge Transfer

Philipp Spitzer, Niklas Kühl+1 more|arXiv (Cornell University)|Jul 1, 2022

Big Data and Business Intelligence被引用数 4

ひとこと要約

本論文は、AIをトレーナーとして活用し、説明可能なAI（XAI）を活用して、明示的および暗黙的知識を両方とも移転する、初心者を対象としたタスク固有の専門知識（TSEK）の習得を目的とした人間-AI協働（HAIC）フレームワークを提案する。予備実験を通じて、XAIの説明を備えたAIシステムが、住宅価格予測回帰タスクにおける初心者のパフォーマンスを顕著に向上させることを示しており、AIが訓練場面で専門家（SME）に効果的に代われる可能性を示唆している。

ABSTRACT

Across a multitude of work environments, expert knowledge is imperative for humans to conduct tasks with high performance and ensure business success. These humans possess task-specific expert knowledge (TSEK) and hence, represent subject matter experts (SMEs). However, not only demographic changes but also personnel downsizing strategies lead and will continue to lead to departures of SMEs within organizations, which constitutes the challenge of how to retain that expert knowledge and train novices to keep the competitive advantage elicited by that expert knowledge. SMEs training novices is time- and cost-intensive, which intensifies the need for alternatives. Human-AI collaboration (HAIC) poses a way out of this dilemma, facilitating alternatives to preserve expert knowledge and teach it to novices for tasks conducted by SMEs beforehand. In this workshop paper, we (1) propose a framework on how HAIC can be utilized to train novices on particular tasks, (2) illustrate the role of explicit and tacit knowledge in this training process via HAIC, and (3) outline a preliminary experiment design to assess the ability of AI systems in HAIC to act as a trainer to transfer TSEK to novices who do not possess prior TSEK.

研究の動機と目的

• 専門家（SME）が退職または組織を離脱した際のタスク固有の専門知識（TSEK）の維持と移転の課題に対処すること。
• 人間-AI協働（HAIC）におけるAIシステムが、事前のTSEKを有しない初心者を効果的にトレーニングできるかどうかを調査すること。
• HAICが支援する訓練プロセスにおける明示的知識と暗黙的知識の役割を検討すること。
• 予測とXAIの説明を通じてTSEKを移転できる能力を評価するための制御された実験を設計・実施すること。

提案手法

• AIシステムを知識リポジトリおよびトレーナーとして位置づけ、初心者向けのHAICベースのトレーニングフレームワークを開発する。
• 表形式の特徴量と画像を備えた住宅価格回帰データセットを用い、実験では表形式データに焦点を当てる。
• 全データの80％（12,379件）を学習に使用し、残りの20％（3,095件）をテストに、さらに20件のホールドアウトインスタンスを実験に割り当てる。
• 三つの実験的処置を実施する：（1）支援なし、（2）専門家が作成したドキュメントへのアクセス、（3）各予測後に予測とXAIの説明を提供するAI支援。
• 各予測後に20件のホールドアウトインスタンスにおけるパフォーマンスを測定し、参加者に正解データ（グランド・トゥルース）のフィードバックを提供する。
• 事前の知識およびAIリテラシーを制御することで、AI支援の学習成果への影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 人間-AI協働（HAIC）におけるAIシステムは、事前のタスク固有の専門知識（TSEK）を持たない初心者を、新しいタスクにおいて効果的にトレーニングできるか？
• RQ2 説明可能なAI（XAI）の説明を併せ持つAIの予測が、初心者のTSEK習得における理解力とパフォーマンスにどのように影響するか？
• RQ3 AIシステムは、初心者トレーニングの過程で、明示的および暗黙的両方のTSEKの成分をどれほど効果的に維持・移転できるか？
• RQ4 XAIを備えたHAICは、ドキュメントや直接のSME指導致命といった従来のトレーニング方法に比べ、学習効率および正確性の面で優れているか？

主な発見

• XAIの説明を備えたAIシステムは、支援なしまたはドキュメントのみの状況と比較して、住宅価格予測における初心者のパフォーマンスを顕著に向上させた。
• 予測と説明を提供された参加者は、回帰タスクにおいてより速い学習曲線を示し、高い正確性を達成した。
• 本研究は、AIシステムがHAICにおいて効果的なトレーナーとして機能できることを実証的に支持する仮説を裏付けた。これは、初心者が事前のTSEKを持たない状況下でも知識移転が可能であることを示している。
• XAIの説明統合により、暗黙的知識の成分が外部化され、初心者の意思決定ロジックの理解が向上した。
• 実験設計により、AI支援の影響を明確に分離でき、AIが生成する説明がHAICにおける知識移転に有意義に寄与することが示された。
• 結果から、AIシステムは、知識集約的な組織的タスクにおけるSME主導のトレーニングに代わるスケーラブルでコスト効率の良い代替手段として機能できる可能性がある。