[論文レビュー] Learned human-agent decision-making, communication and joint action in a virtual reality environment

Patrick M. Pilarski, Andrew Butcher+4 more|arXiv (Cornell University)|May 7, 2019

Action Observation and Synchronization被引用数 5

ひとこと要約

本研究では、人間パイロットとAIコパイLOTが予測学習とポリシーに基づく通信を通じて相互に適応する人間-エージェント共同行動を調査するため、バーチャルリアリティ（VR）における採集環境を導入した。コパイLOTは文脈的バンディットポリシーを用いて音声の合図を発信し、時間の経過とともに共有報酬を向上させる。結果として、夜間の採集が向上し、協調行動が顕在化したが、合図のタイミングや学習遅延のため、初期段階で誤りが生じた。

ABSTRACT

Humans make decisions and act alongside other humans to pursue both short-term and long-term goals. As a result of ongoing progress in areas such as computing science and automation, humans now also interact with non-human agents of varying complexity as part of their day-to-day activities; substantial work is being done to integrate increasingly intelligent machine agents into human work and play. With increases in the cognitive, sensory, and motor capacity of these agents, intelligent machinery for human assistance can now reasonably be considered to engage in joint action with humans---i.e., two or more agents adapting their behaviour and their understanding of each other so as to progress in shared objectives or goals. The mechanisms, conditions, and opportunities for skillful joint action in human-machine partnerships is of great interest to multiple communities. Despite this, human-machine joint action is as yet under-explored, especially in cases where a human and an intelligent machine interact in a persistent way during the course of real-time, daily-life experience. In this work, we contribute a virtual reality environment wherein a human and an agent can adapt their predictions, their actions, and their communication so as to pursue a simple foraging task. In a case study with a single participant, we provide an example of human-agent coordination and decision-making involving prediction learning on the part of the human and the machine agent, and control learning on the part of the machine agent wherein audio communication signals are used to cue its human partner in service of acquiring shared reward. These comparisons suggest the utility of studying human-machine coordination in a virtual reality environment, and identify further research that will expand our understanding of persistent human-machine joint action.

研究の動機と目的

• 自然的で没入感のあるVR環境において、持続的でリアルタイムの人間-機械共同行動を調査すること。
• 人間と学習エージェントが予測学習と通信を通じてどのように相互に適応するかを研究すること。
• 異なるAIコパイLOTアーキテクチャ（パヴロフ的合図 vs. 文脈的バンディットポリシー学習）が、人間の意思決定と協調行動に与える影響を評価すること。
• 継続的で動的な相互作用の過程で、人間-エージェントパートナーシップにおいて顕在する通信とスキルの移転を探索すること。

提案手法

• 6種類の果物が明るさ/暗さ（昼間/夜間）のサイクルを繰り返すバーチャルリアリティ（VR）における採集タスクを設計し、人間とエージェントのリアルタイム協調を要請した。
• 人間パイロットはハンドコントローラーを用いて果物を収穫したが、AIコパイLOTは熟成度を予測し、学習された価値予測に基づいて音声合図を発信した。
• コパイLOTは文脈的バンディットアルゴリズムを用い、報酬の高い行動を強化するように、確率的ポリシーを更新した。
• パイロットの行動は累積スコア、合図反応タイミング、予測値の変化（$\Delta V(h,s)$）によって追跡され、学習と教えの信号を反映した。
• 3つの実験条件を検証した：コパイLOTなし（NoCP）、パヴロフ的合図（Pav）、ポリシー学習コパイLOT（Bandit）、後者は適応的合図を可能にした。
• コパイLOTのポリシーは報酬フィードバックに基づき更新され、報酬の割り当てはパイロットの行動とタイミングに依存し、リアルタイムの共同行動を模擬した。

実験結果

リサーチクエスチョン

• RQ1 AIコパイLOTの存在が、持続的でリアルタイムのVR環境における人間の採集行動にどのように影響を与えるか？
• RQ2 ポリシー学習コパイLOTは、適応的で文脈に敏感な通信を通じて、共有報酬を向上させられるか？
• RQ3 タイミングと報酬割り当ては、効果的な人間-エージェント共同行動と通信にどのように寄与するか？
• RQ4 異なるコパイLOTアーキテクチャ（パヴロフ的 vs. 文脈的バンディット）は、人間の学習と協調行動にどのように影響を与えるか？
• RQ5 人間とエージェントの予測および制御ポリシーが、共有タスクにおいて相互に学習することで、どの程度共に適応できるか？

主な発見

• ポリシー学習コパイLOT（Bandit）は、コパイLOTなしの条件と比較して、夜間における採集活動が顕著に増加した。これは、低視界状態への適応が向上したことを示している。
• 採集活動が増加したにもかかわらず、両方のコパイLOT条件下でパイロットはより多くのミスを犯した。特に夜間およびなじみの薄い果物の位置で顕著で、合図の解釈における学習遅延が原因であると示唆された。
• 負の点数イベントを除いた累積スコアから、BanditコパイLOTとの協働は、両エージェントが最適な協調行動を学習した後、より高い有効なパフォーマンスをもたらすことがわかった。
• 予測値の変化（$\Delta V(h,s)$）として測定された教えのインタラクションは、パイロットが時間の経過とともにコパイLOTの合図に適応していることを示し、相互学習が生じたことを裏付けた。
• Bandit条件はパヴロフ的アプローチに比べ、より効果的で段階的な合図を示した。これは、適応的で文脈に敏感な通信の必要性を支持するものである。
• 時間的遅延と報酬割り当てが重要であった：合図のタイミングがずれると誤りが生じ、人間-エージェント共同行動における正確な時間的整合性の重要性が浮き彫りになった。