[論文レビュー] Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation

Haresh Karnan, Anirudh Nair+7 more|arXiv (Cornell University)|Mar 28, 2022

Social Robot Interaction and HRI被引用数 4

ひとこと要約

本論文は、異なる屋内・屋外環境における2台のロボット（Boston Dynamics Spot および Clearpath Jackal）を用いて人間の遠隔操作によって収集された、合計8.7時間、138件の社会的配慮のあるナビゲーション経路を含む大規模でファースト・パーソン・ビューのデータセット、SCANDを紹介する。このデータセットには、3D LiDAR、ジョイスティック入力、オドメトリ、視覚情報、およびIMUのマルチモーダルデータに加え、社会的相互作用のラベルが付与されており、模倣学習を用いて社会的配慮のあるグローバルおよびローカルナビゲーションポリシーを学習可能であり、人間評価においてベースライン手法を上回る性能を示す。

ABSTRACT

Social navigation is the capability of an autonomous agent, such as a robot, to navigate in a 'socially compliant' manner in the presence of other intelligent agents such as humans. With the emergence of autonomously navigating mobile robots in human populated environments (e.g., domestic service robots in homes and restaurants and food delivery robots on public sidewalks), incorporating socially compliant navigation behaviors on these robots becomes critical to ensuring safe and comfortable human robot coexistence. To address this challenge, imitation learning is a promising framework, since it is easier for humans to demonstrate the task of social navigation rather than to formulate reward functions that accurately capture the complex multi objective setting of social navigation. The use of imitation learning and inverse reinforcement learning to social navigation for mobile robots, however, is currently hindered by a lack of large scale datasets that capture socially compliant robot navigation demonstrations in the wild. To fill this gap, we introduce Socially CompliAnt Navigation Dataset (SCAND) a large scale, first person view dataset of socially compliant navigation demonstrations. Our dataset contains 8.7 hours, 138 trajectories, 25 miles of socially compliant, human teleoperated driving demonstrations that comprises multi modal data streams including 3D lidar, joystick commands, odometry, visual and inertial information, collected on two morphologically different mobile robots a Boston Dynamics Spot and a Clearpath Jackal by four different human demonstrators in both indoor and outdoor environments. We additionally perform preliminary analysis and validation through real world robot experiments and show that navigation policies learned by imitation learning on SCAND generate socially compliant behaviors

研究の動機と目的

• 多様な環境における社会的配慮のあるロボットナビゲーションを捉えた大規模で現実世界のデータセットが不足しているという問題に対処すること。
• 高精細な人間の模倣データを提供することで、モバイルロボットナビゲーションの模倣学習を可能にすること。
• 現実世界での検証を通じて、社会的配慮のあるナビゲーションポリシーの開発と評価を支援すること。
• 社会的ナビゲーション戦略、経路分類、逆強化学習の研究のためのベンチマークを提供すること。
• 表現学習、現実世界からシミュレーションへの転送、人間-ロボットインタラクションモデリングの分野における研究を促進すること。

提案手法

• Boston Dynamics Spot および Clearpath Jackal の2種類の異なる形状のロボットを用いて、合計25マイルの移動を実現する138件の経路を収集する。
• 人間の遠隔操作に伴い、3D LiDAR、ジョイスティック入力、オドメトリ、RGBカメラ、6軸IMUのマルチモーダルデータストリームを記録する。
• 歩行者の譲り合い、交通ルールの順守、群衆の周囲を避けるなどの自然な社会的相互作用を、各経路にラベル付けする。
• 模倣学習のための行動クラッキング（BC）エージェントを、収集データに学習させ、グローバルおよびローカルナビゲーションポリシーを学習する。
• 人間が参加するループテストを通じて、社会的配慮と安全性の観点から、学習済みポリシーとベースラインの move_base コントローラーを比較評価する。
• 分類器を用いた分析により、異なる人間のドライバーが異なる社会的配慮ナビゲーション戦略を用いていることを実証する。

実験結果

リサーチクエスチョン

• RQ1 人間の遠隔操作による大規模で現実世界のロボットナビゲーションデータセットは、非構造的環境において多様な社会的配慮行動を捉えられるか？
• RQ2 異なる人間のドライバーは、社会的配慮ナビゲーションにおいてどの程度異なる戦略を示し、それらは模倣学習によって学習可能か？
• RQ3 SCAND上で行う模倣学習により、人間評価者にとって社会的配慮的かつ安全と感じられるナビゲーションポリシーを効果的に学習できるか？
• RQ4 SCAND上で行動クラッキングを用いることで、複雑で動的な環境においてグローバルおよびローカルナビゲーションポリシーをどれほど効果的に学習できるか？
• RQ5 SCANDは、経路予測、分類、逆強化学習といった後続タスクのためのモデル学習に利用可能か？

主な発見

• ニューラルネットワーク分類器は、2人の異なる人間ドライバーのナビゲーション戦略を識別する際、74.48％の正確度を達成し、データ内に明確に異なる社会的配慮戦略が存在することを示した。
• SCAND上で行なった行動クラッキングにより、社会的配慮のあるローカルナビゲーションポリシーが効果的に学習され、人間評価においてナーブな move_base ベースラインを上回った。
• 人間参加者が2つの現実世界のナビゲーションシナリオにおいて、行動クラッキングで学習したエージェントを、ベースラインエージェントよりもはるかに社会的配慮的かつ安全だと評価した。
• このデータセットには、8.7時間の模倣データ、138件の経路、屋内および屋外環境をカバーする25マイルのナビゲーションが含まれており、豊富なマルチモーダルセンサデータと社会的相互作用ラベルが付与されている。
• このデータセットは、模倣学習、経路分類、逆強化学習、現実世界からシミュレーションへの転送といった多様な研究応用を支援する。
• SCANDは、地域的ナビゲーションのルール（例：右側走行）の研究を可能にし、一般化可能で社会的配慮のあるロボットナビゲーションポリシーの開発を支援する。