[論文レビュー] On the Importance of Environments in Human-Robot Coordination

Matthew C. Fontaine, Ya-Chuan Hsu+3 more|arXiv (Cornell University)|Jun 21, 2021

Reinforcement Learning in Robotics参考文献 37被引用数 5

ひとこと要約

本稿では、人間-ロボット協調動作に与える影響を調査するため、Overcookedドメインにおいて多様で解ける、スタイル的に現実的な環境を手続き的に生成するためのGAN-MIPフレームワークを提案する。生成対象の環境に、生成敵対ネットワークと混合整数線形計画法による修復、および品質多様性最適化アルゴリズム（CMA-ME）を組み合わせることで、同じ計画アルゴリズムを使用するロボットに対しても、作業負荷の分配やチームの円滑さに統計的に有意な差を引き起こす環境を生成した。これは、環境設計が、Emergentな協調行動を決定づける要因であることを示している。

ABSTRACT

When studying robots collaborating with humans, much of the focus has been on robot policies that coordinate fluently with human teammates in collaborative tasks. However, less emphasis has been placed on the effect of the environment on coordination behaviors. To thoroughly explore environments that result in diverse behaviors, we propose a framework for procedural generation of environments that are (1) stylistically similar to human-authored environments, (2) guaranteed to be solvable by the human-robot team, and (3) diverse with respect to coordination measures. We analyze the procedurally generated environments in the Overcooked benchmark domain via simulation and an online user study. Results show that the environments result in qualitatively different emerging behaviors and statistically significant differences in collaborative fluency metrics, even when the robot runs the same planning algorithm.

研究の動機と目的

• 環境設計が人間-ロボットチームにおけるEmergentな協調行動に与える影響を調査すること。
• ロボット計画法や人間モデリングに注目が集まっている一方で、環境要因の影響に関する体系的かつ包括的な調査が不足しているという問題を解決すること。
• 人間が作成した環境と同様のスタイルを保ちつつ、解けることが保証され、協調行動に関連する指標で多様性を持つ環境をスケーラブルかつ自動的に生成する手法を開発すること。
• シミュレーションで得られた協調行動の差が、実際の人間-ロボット相互作用においても成立することを検証すること。

提案手法

• 人間が作成した Overcooked のキッチンを学習データとして、生成敵対ネットワーク（GAN）を訓練し、環境設計のスタイル的パターンを学習する。
• 生成された GAN 環境に対して、混合整数線形計画法（MIP）を適用し、制約（例：材料の到達可能性、鍋の存在、届きやすい提供ステーション）を強制することで、人間-ロボットチームによる解法可能性を保証する。
• CMA-ME の品質多様性最適化アルゴリズムを用いて、GAN の潜在空間を探索し、作業負荷のバランスやチームの円滑さといった協調行動指標の多様性を最大化する環境を発見する。
• 生成された環境を、協調行動指標でインデックスしたアーカイブに整理し、未探索の行動的組み合わせを指向する探索を支援する。
• 事前に計算された共同計画と人間を考慮した計画法（QMDP）を用いたシミュレーションで生成された環境を評価し、実参加者を対象としたオンラインユーザースタディで結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 同じ計画アルゴリズムを使用するロボットに対しても、手続き的に生成された環境が、作業負荷のバランスやチームの円滑さといった人間-ロボット協調行動指標に統計的に有意な差をもたらすか。
• RQ2 シミュレーションで観察された協調行動の差が、実際の人間-ロボット相互作用にどの程度反映されるか。
• RQ3 GAN-MIP-CMA-ME パイプラインは、スタイル的に現実的で、解ける環境を生成する上で、どの程度効果的か。
• RQ4 このフレームワークは、特定の協調特性（例：均等な作業負荷、高い円滑さ）を強調する環境を体系的に探索・発見できるか。
• RQ5 人間参加者が、作業負荷の分配やチームの円滑さの観点から、環境の変化に対してどのように認識し、反応するか。

主な発見

• オンラインユーザースタディの結果、作業負荷の不均衡を強調して生成された環境では、人間とロボット間の作業負荷の不均衡が顕著に大きくなり、材料差のp値がp<0.001、注文差のp値がp=0.01であった。
• 「高円滑さ」環境では「低円滑さ」環境よりも、同時に動作する時間の割合（チームの円滑さの指標）が有意に高かった（z=4.541、p<0.001）。
• 「高円滑さ」と「低円滑さ」の環境間で、立ち往生した時間に有意差は認められず、ユーザーが迅速にロボットに譲ることでデッドロックを解消した。
• このフレームワークにより、人間が作成した環境と同様のスタイルを保ちつつ、MIPによる修復で解けることが保証された環境が成功裏に生成された。
• CMA-ME アルゴリズムは、複数の指標にわたる協調行動の多様性を持つ環境を、潜在空間内で効果的に探索した。
• 結果から、ロボットのポリシーが同一であっても、環境設計がEmergentな協調行動ダイナミクスを決定づける重要な要因であることが示された。