[論文レビュー] Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

Xavier Puig, Eric Undersander+21 more|arXiv (Cornell University)|Oct 19, 2023

Social Robot Interaction and HRI被引用数 15

ひとこと要約

Habitat 3.0 は、家庭のような環境で協働人間-ロボットタスクをサポートする高速で現実的なシミュレーターを提供し、ヒューマン・イン・ザ・ループ評価ツールと複数のベースラインを備えた二つのタスク（Social Navigation および Social Rearrangement）を含みます。

ABSTRACT

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.

研究の動機と目的

• 現実的な家庭環境で協調的な人間-ロボットタスクをシミュレーションすることで、社会的具象AIの研究を動機付け、促進する。
• 学習ベースのエージェントに適した高速で多様な人型外観および運動モデルを提供する。
• 実際の人間協力者とロボットポリシーを評価するためのヒューマン・イン・ザ・ループ評価インターフェースを提供する。
• 標準化されたベースラインを伴う二つの社会的タスク（Social Navigation と Social Rearrangement）を導入し、ベンチマークを取る。
• 人間-ロボット協働における一般化と出現的な協調行動を実証する。

提案手法

• 人型の外観と運動: 物理演算のための関節骨格とレンダリングのためのスキンドメッシュを組み合わせたデュアル表現を用い、SMPL-X に基づく。読み込みと姿勢生成を加速するために複数の体形をキャッシュする。
• 人型の運動: ナビゲーション、ピック/配置などの低レベルスキルをパスプランナーとモーションクリップ（歩行サイクル）と組み合わせる階層的ポリシーで長距離挙動を達成する。
• ヒューマン・イン・ザ・ループ（HITL）ツール: マウス/キーボードまたはVRを介して人間が人型を制御できるクライアント-サーバー構成で、評価とデータ収集のための記録、リプレイ、マルチビューレンダリングを備える。
• ロボットと人型の協働: 学習ベースとヒューリスティックなベースラインを用いて、Social Navigation（ロボットが安全距離を保って人型を見つけて追従）と Social Rearrangement（ロボットと人型が共同で物を再配置）という二つのタスクを研究する。
• ベースライン評価: 未知のシーンと協力者に対して、エンドツーエンド RL、ヒューリスティックプランナー、集団ベース学習アプローチを比較し、一般化と出現的協調を測定する。

実験結果

リサーチクエスチョン

• RQ1 現実的な家庭環境で訓練された embodiment AI エージェントに適した、速く多様で現実的な人型アバターをどのようにモデル化できるか？
• RQ2 実際の人間パートナーと共に policy の性能を推定する際の Human-in-the-Loop 評価の影響はどのようなものか？
• RQ3 未知の環境および未知の協力者に対して、学習済みおよびヒューリスティックなポリシーは社会的ナビゲーションと社会的再配置のタスクでどのように性能を示すか？
• RQ4 出現的な協調行動（例: 空間譲り、タスク分担）は、人間-ロボット協働の効率性と安全性を改善できるか？

主な発見

方法	S↑	SPS↑	F↑	CR↓
Heuristic Expert	1.00	0.97	0.51	0.52
End-to-end RL	0.97 ±0.00	0.65 ±0.00	0.44 ±0.01	0.51 ±0.03
- humanoid GPS	0.76 ±0.02	0.34 ±0.01	0.29 ±0.01	0.48 ±0.03
- humanoid detector	0.98 ±0.00	0.68 ±0.00	0.37 ±0.01	0.64 ±0.05
- arm depth	0.94 ±0.01	0.54 ±0.01	0.19 ±0.01	0.71 ±0.08
- arm depth + arm RGB	0.96 ±0.00	0.61 ±0.01	0.38 ±0.02	0.55 ±0.04

• エンドツーエンドの RL ポリシーは、Social Navigation において、人型を追従する際のスペース譲りや動作の調整といった協調動作を学習し、競争力のある成功率と衝突指標を達成する。
• エンドツーエンドの RL およびセンサのアブレーションは、GPS、深度、 detector センサの重要性を多様に示し、人型を検出する前後での入力の役割を浮き彫りにする。
• Social Rearrangement では、複数の協力者を持つ集団ベーストレーニングが未知のパートナーへの一般化を改善し、Plan-Pop 系は ZSC の堅牢な性能を示す。
• ヒューマン・イン・ザ・ループ評価は、実際の人間を用いた場合にも HITL ベースの自動評価が相対的なポリシーランキングと整合し、スケーラブルなベンチマーク設定を支援する。
• Habitat 3.0 は高いフレームレートを達成（例: ロボット-人型設定で 16 環境を横断して 1191 FPS など）し、キャッシュとオフラインのリグ/ロード戦略により視覚的忠実度を維持する。
• モジュラーな二層ポリシー（高レベルのスキル選択と低レベルのスキル）により、多様なシーンやパートナー間でのロボットと人型の効率的な協調をサポートする。