[論文レビュー] Assessing Human Interaction in Virtual Reality With Continually Learning Prediction Agents Based on Reinforcement Learning Algorithms: A Pilot Study

Dylan J. A. Brenneis, Adam S. Parker+8 more|arXiv (Cornell University)|Dec 14, 2021

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本パイロット研究は、仮想現実における時間予測タスクにおいて、継続的に学習する強化学習エージェントと協働する際の、人間の信頼関係と相互作用の進化を調査する。2つのエージェントアーキテクチャ―（しきい値ベースとビンベース）を比較し、初期の相互作用が人間の信頼を顕著に形成することが判明。しきい値ベースのエージェントは、やや低い正確性にもかかわらず、より戦略的な行動を促進した。これは、表現設計が人間-エージェント間の信頼ダイナミクスに顕著に影響することを示唆する。

ABSTRACT

Artificial intelligence systems increasingly involve continual learning to enable flexibility in general situations that are not encountered during system training. Human interaction with autonomous systems is broadly studied, but research has hitherto under-explored interactions that occur while the system is actively learning, and can noticeably change its behaviour in minutes. In this pilot study, we investigate how the interaction between a human and a continually learning prediction agent develops as the agent develops competency. Additionally, we compare two different agent architectures to assess how representational choices in agent design affect the human-agent interaction. We develop a virtual reality environment and a time-based prediction task wherein learned predictions from a reinforcement learning (RL) algorithm augment human predictions. We assess how a participant's performance and behaviour in this task differs across agent types, using both quantitative and qualitative analyses. Our findings suggest that human trust of the system may be influenced by early interactions with the agent, and that trust in turn affects strategic behaviour, but limitations of the pilot study rule out any conclusive statement. We identify trust as a key feature of interaction to focus on when considering RL-based technologies, and make several recommendations for modification to this study in preparation for a larger-scale investigation. A video summary of this paper can be found at https://youtu.be/oVYJdnBqTwQ .

研究の動機と目的

• 継続的に学習する強化学習エージェントがリアルタイムで学習を進める状況下で、人間-エージェント相互作用がどのように進化するかを調査すること。
• 2つの異なるエージェントアーキテクチャ（しきい値ベースとビンベース）が、人間の信頼関係と戦略的行動に与える影響を比較すること。
• 初期の相互作用が、学習エージェントに対する長期的な人間の信頼関係をどのように形成するかを調査すること。
• 動的でリアルタイムのタスクにおいて、人間の認識と協働を左右する、RLベースのエージェントにおける主要な設計要因を同定すること。

提案手法

• 参加者が強化学習エージェントと協働して確率的刺激の発現を予測する時間予測タスクを実施する仮想現実環境を開発した。
• 一般価値関数を用いて2つのRLエージェントを実装：1つはしきい値ベースの表現、もう1つはビンベースの特徴離散化を採用。
• エージェントをリアルタイムでパulsed刺激の発現を予測するように訓練し、人間との相互作用中に継続的に方策を更新した。
• 定量的パフォーマンス指標（予測正確性、タイミング）と定性的行動データ（戦略的シフト、信頼の指標）を収集した。
• 人間の行動と信頼の時間的変化を分析し、特に初期相互作用フェーズに注目した。
• 相互作用ダイナミクスを探索するために1名のエキスパート参加者を用いたが、今後の研究では初心者参加者を用いた直接的な信頼測定を推奨する。

実験結果

リサーチクエスチョン

• RQ1 継続的に学習するエージェントとのリアルタイム相互作用において、人間のエージェントに対する信頼関係はどのように変化するか？
• RQ2 エージェントの表現設計（しきい値ベース対ビンベース）は、人間の戦略的行動と認識された信頼性にどのような影響を与えるか？
• RQ3 学習エージェントとの初期相互作用が、長期的な人間の信頼関係と協働行動をどの程度形作るか？
• RQ4 エージェントの学習進行は、人間の認知的オフローディングとタスクパフォーマンスにどのように影響するか？
• RQ5 表現選択は、人間-エージェント間のコミュニケーションと相互理解の発展において、どのような役割を果たすか？

主な発見

• しきい値ベースのエージェント（TCT）は、ビンベースのエージェント（BC）よりも人間の信頼をより高まり、多様な戦略的行動を促進したが、BCエージェントはやや高い予測正確性を示した。
• 初期の相互作用が人間の信頼形成において極めて重要であることが判明。信頼レベルは迅速に形成され、セッション全体にわたり安定した。
• TCTエージェントの迅速な学習とより直感的なシグナリングが、パフォーマンスがわずかに劣るにもかかわらず、より高い認識された信頼性を生み出した。
• BCエージェントの細分化された特徴ビンにより、後期段階での正確性が向上したが、その遅い学習曲線が初期段階での信頼形成を阻害した。
• 参加者はTCTエージェントに対して認知的オフローディングを示した。これは、TCTエージェントが時間管理タスクにおいてより信頼できるパートナーと認識されたことを示唆する。
• 本研究は、RLエージェントにおける表現設計が、パフォーマンス差が小さくても、人間の信頼関係と相互作用の質に顕著な影響を与えることを強調している。