[論文レビュー] Fleet-DAgger: Interactive Robot Fleet Learning with Scalable Human Supervision

Ryan Hoque, Lawrence Yunliang Chen+5 more|arXiv (Cornell University)|Jun 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、複数のロボットにおける人間の監督者割り当てを最適化し、人間の労力に対する報酬（ROHE）を最大化するための新規アルゴリズムであるFleet-DAggerを紹介する。GPUアクセラレートされたIsaac Gym環境を備えた新規オープンソースベンチマークと、4台のABB YuMiアームを用いた実世界実験を活用し、不確実性とリスクに基づいてロボットの要求を知的に優先することで、ベースライン比最大8.8倍のROHEを達成した。これは、マルチロボット・マルチヒューマン環境における学習効率の顕著な向上を示している。

ABSTRACT

Commercial and industrial deployments of robot fleets at Amazon, Nimble, Plus One, Waymo, and Zoox query remote human teleoperators when robots are at risk or unable to make task progress. With continual learning, interventions from the remote pool of humans can also be used to improve the robot fleet control policy over time. A central question is how to effectively allocate limited human attention. Prior work addresses this in the single-robot, single-human setting; we formalize the Interactive Fleet Learning (IFL) setting, in which multiple robots interactively query and learn from multiple human supervisors. We propose Return on Human Effort (ROHE) as a new metric and Fleet-DAgger, a family of IFL algorithms. We present an open-source IFL benchmark suite of GPU-accelerated Isaac Gym environments for standardized evaluation and development of IFL algorithms. We compare a novel Fleet-DAgger algorithm to 4 baselines with 100 robots in simulation. We also perform a physical block-pushing experiment with 4 ABB YuMi robot arms and 2 remote humans. Experiments suggest that the allocation of humans to robots significantly affects the performance of the fleet, and that the novel Fleet-DAgger algorithm can achieve up to 8.8x higher ROHE than baselines. See https://tinyurl.com/fleet-dagger for supplemental material.

研究の動機と目的

• 継続的なポリシー学習中に複数のロボットが複数の人間の監督者とインタラクティブに相互作用する『インタラクティブ・フリート学習（IFL）』設定を形式化すること。
• 大規模なロボットフリートにおける限られた人間の注目を最適に割り当て、学習効率とシステムスループットを最大化するという、重要な課題に取り組むこと。
• フリート学習における学習進捗と人間の作業負荷のトレードオフを捉えるために、人間の労力に対する報酬（ROHE）という新しい評価指標を提案すること。
• 標準化されたIFLアルゴリズムの評価を可能にするため、GPUアクセラレートされたIsaac Gym環境を備えた新規のIFLBベンチマークスイートを構築すること。
• 大規模なシミュレーション（100台のロボット）と実世界の物理実験（4台のロボット、2名のヒューマン）を通じて、提案されたFleet-DAggerアルゴリズムの有効性を検証すること。

提案手法

• N台のロボットがM名のリモート監督者からのインタラクティブな人間の干渉を通じて学習するフリート学習フレームワークを形式化し、ロボットゲートド割り当てポリシー ω を用いて人間を動的に割り当てる。
• 人間の労力あたりの学習進捗を定量化する新しい指標として、人間の労力に対する報酬（ROHE）を導入し、割り当て戦略の公平な比較を可能にする。
• 不確実性、リスク、予測された行動差異を用いて人間の監視を優先順位付けするFleet-DAggerアルゴリズムのファミリーを設計する。
• Isaac Gymを用いたマルチエージェントシミュレーション環境を実装し、100台のロボットをスケーリングし、並列学習とリアルタイムの人間によるインタラクションを実現する。
• 4台のABB YuMiロボットアームと2名のリモート人間監督者を用いた物理実験を実施し、遠隔操作と物理的ハードリセットを用いて実世界のフリートダイナミクスを模擬する。
• オフラインのアノテーション学習とオンラインのインタラクティブ学習を組み合わせたハイブリッドアプローチを採用し、人間の干渉を用いて時間経過とともに共有ロボットポリシー πθt を改善する。

実験結果

リサーチクエスチョン

• RQ1 大規模なロボットフリートにおいて、インタラクティブ・フリート学習の文脈で、人間の監視をどのように効果的に割り当てれば、学習効率を最大化し、人間の作業負荷を最小化できるか？
• RQ2 異なる監督者割り当て戦略が、ロボットフリート学習のパフォーマンスとスケーラビリティに与える影響は何か？
• RQ3 提案された人間の労力に対する報酬（ROHE）指標は、マルチロボット環境におけるインタラクティブ学習アルゴリズムの有効性を評価する伝統的な指標と比較して、どのように異なるか？
• RQ4 スケーラブルでオープンソースのベンチマーク（IFLB）は、IFLアルゴリズムの標準化された評価と開発をどの程度可能にするか？
• RQ5 アルゴリズム的監督者とは異なり、変動する反応行動を示す実世界のマルチモーダル人間監督者に対し、アルゴリズム的監督者割り当てポリシーはどの程度一般化可能か？

主な発見

• 大規模なシミュレーション（100台のロボット）において、Fleet-DAggerは4つのベースラインアルゴリズムと比較して、最大8.8倍のROHEを達成し、学習効率の顕著な向上を示した。
• 4台のABB YuMiロボットと2名のヒューマン監督者を用いた物理実験では、Fleet-DAggerのC.U.R.バージョンが、ベースラインと比較して高いROHE、より多くの累積的成功、少ないハードリセット回数、および少ない無効時間を達成した。
• 実世界実験では、C.U.R.とU.C.（Fleet-EnsembleDAgger）のパフォーマンス差がシミュレーションよりも小さく、高次元の画像観測により安全評価者（safety critic）の学習が困難であることが示唆された。
• 人間の監督者が同等に妥当な行動を任意に選択したため、不確実性に基づく優先順位付けの効果が低下し、これは、不確実性優先（U-prioritization）が、決定論的なアルゴリズム的監督者よりも実際の人間監督者にはあまり効果的でないことを示している。
• IFLBベンチマークスイートは、GPUアクセラレートされたIsaac Gym環境を用いて、IFLアルゴリズムのスケーラブルで標準化された評価を成功裏に実現し、今後のフリート学習分野の研究を支援した。