[論文レビュー] Adaptive Coordination in Social Embodied Rearrangement

Andrew Szot, Unnat Jain+4 more|arXiv (Cornell University)|May 31, 2023

Social Robot Interaction and HRI被引用数 5

ひとこと要約

本論文は、エゴセントリックな観測のみを用いて、2台のロボットが写実的3D環境で協働して長時間にわたる日常的タスクを遂行する必要がある、マルチエージェントタスク「Social Rearrangement」を紹介する。未知のパートナーとのゼロショット協調を可能にするために、著者らは、共有ポリシー・アーキテクチャと識別可能性目的関数を用いて集団内での行動多様性を強制する、Behavior Diversity Play（BDP）を提案する。その結果、ベースラインと比較して35%高い成功率と32%高い効率を達成した。

ABSTRACT

We present the task of "Social Rearrangement", consisting of cooperative everyday tasks like setting up the dinner table, tidying a house or unpacking groceries in a simulated multi-agent environment. In Social Rearrangement, two robots coordinate to complete a long-horizon task, using onboard sensing and egocentric observations, and no privileged information about the environment. We study zero-shot coordination (ZSC) in this task, where an agent collaborates with a new partner, emulating a scenario where a robot collaborates with a new human partner. Prior ZSC approaches struggle to generalize in our complex and visually rich setting, and on further analysis, we find that they fail to generate diverse coordination behaviors at training time. To counter this, we propose Behavior Diversity Play (BDP), a novel ZSC approach that encourages diversity through a discriminability objective. Our results demonstrate that BDP learns adaptive agents that can tackle visual coordination, and zero-shot generalize to new partners in unseen environments, achieving 35% higher success and 32% higher efficiency compared to baselines.

研究の動機と目的

• 視覚的に豊かな、長時間にわたるマルチエージェントタスクにおいて、特権情報なしに未知のパートナーに適応できるゼロショット協調の課題に対処すること。
• 訓練集団内の行動多様性が不十分であるため、従来のゼロショット協調手法が複雑な環境で失敗する問題を克服すること。
• 共有視覚エンコーダーと行動潜在空間を用いて、スケーラブルでサンプル効率の高いフレームワークを構築すること。
• 現実的で高精細なシミュレーション環境を用いて、現実世界のヒューマンロボット協働シナリオをモデル化し、評価すること。
• 識別可能性目的関数を用いて行動多様性を強制することで、未知のパートナーや環境への頑健な一般化が達成されることを示すこと。

提案手法

• 共有ポリシー・アーキテクチャと識別可能性目的関数を用いて、行動多様性を持つエージェント集団をトレーニングするゼロショット協調フレームワーク「Behavior Diversity Play（BDP）」を提案する。
• 行動識別器ネットワークを用いて、集団内の行動を区別させ、たとえばテーブルセッティングタスクで異なる物体にアプローチするなど、明確に異なる行動を促進する。
• ランダムなポリシー初期化の代わりに、行動潜在空間を用いて集団をパラメータ化することで、効率的な探索とトレーニングを可能にする。
• 特権状態やアクション情報にアクセスできない状況下でも、エゴセントリック・ビジョンを通じて観測された多様なパートナーベイアーバーブに適応できる協調エージェントをトレーニングする。
• すべてのエージェントに共有視覚エンコーダーを用いることで、複雑で高次元の視覚入力に対してもサンプル効率を向上させ、一般化を可能にする。
• AI HabitatとReplicaCADデータセットを用いたシミュレーション環境で、2台のFetchロボットがテーブルセッティング、部屋の片付け、食料品の開封などのタスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 訓練集団に行動多様性が欠如している場合、視覚的に豊かな長時間タスクにおいて、ゼロショット協調手法が未知のパートナーに一般化できるか？
• RQ2 識別可能性目的関数を用いて行動多様性を強制することで、複雑で部分観測可能な環境におけるゼロショット協調性能が向上するか？
• RQ3 共有ポリシー・アーキテクチャに行動潜在空間を用いる方法と、ランダム初期化とを比較した場合、マルチエージェント協調におけるサンプル効率と一般化性能にどのような差が出るか？
• RQ4 BDPは、多様なタスクタイプと未知のパートナーベイアーバーブに対して、既存のゼロショット協調ベースラインをどの程度上回るか？（成功確率と効率の両面で）
• RQ5 本手法は、タスク固有の好みが異なる、スクリプト化されたエージェントと学習済みエージェントの両方の未知のパートナーに対し、現実世界に近いシナリオで適応できるか？

主な発見

• BDPは、Social Rearrangementタスクにおけるゼロショット協調において、最先端のベースラインと比較して35%高い成功率と32%高い効率を達成した。
• アブレーションスタディの結果、識別器目的関数を削除すると、訓練集団のパフォーマンスが高くてもゼロショット一般化が著しく劣化することが判明し、識別可能性目的関数の必要性を裏付けた。
• 共有視覚エンコーダーと行動潜在空間を用いたBDPは、ランダムなポリシー初期化や別々のネットワークを用いたバージョンよりも優れており、重み共有と構造的多様性の重要性を示した。
• Tidy HouseとPrepare Groceriesのタスクでは、それぞれ66.71%および75.85%のゼロショット成功率を達成し、PBT（30.34%および34.56%）や他のベースラインを大きく上回った。
• BDPは、スクリプト化されたエージェント（例：常に台所を片付ける）と多様な好みを持つ学習済みエージェントの両方の未知のパートナーに対しても一般化がうまくいき、Tidy Houseタスクでスクリプト化されたパートナーに対して46.90%、学習済みパートナーに対して74.14%の成功率を達成した。
• BDPの訓練集団では、あるエージェントはボウルに注目し、別のエージェントは果物に注目するなど、多様な行動が見られた。一方、PBTベースの集団では、特定の1つの物体に強く偏った行動が見られ、適応性が制限された。