[論文レビュー] Hierarchically Integrated Models: Learning to Navigate from Heterogeneous Robots

Katie Kang, Gregory Kahn+1 more|arXiv (Cornell University)|Jun 24, 2021

Modular Robots and Swarm Intelligence被引用数 1

ひとこと要約

本論文は、異種のロボットデータセットから分離して学習された認識モデルと動的モデルを、テスト時に階層的に統合することで、頑健なナビゲーションを実現する深層強化学習アルゴリズムHIntを提案する。実装ロボットの物理的特性を尊重することで、HIntは従来の階層的方策および単一ソース手法を上回る性能を発揮する。

ABSTRACT

Deep reinforcement learning algorithms require large and diverse datasets in order to learn successful policies for perception-based mobile navigation. However, gathering such datasets with a single robot can be prohibitively expensive. Collecting data with multiple different robotic platforms with possibly different dynamics is a more scalable approach to large-scale data collection. But how can deep reinforcement learning algorithms leverage such heterogeneous datasets? In this work, we propose a deep reinforcement learning algorithm with hierarchically integrated models (HInt). At training time, HInt learns separate perception and dynamics models, and at test time, HInt integrates the two models in a hierarchical manner and plans actions with the integrated model. This method of planning with hierarchically integrated models allows the algorithm to train on datasets gathered by a variety of different platforms, while respecting the physical capabilities of the deployment robot at test time. Our mobile navigation experiments show that HInt outperforms conventional hierarchical policies and single-source approaches.

研究の動機と目的

• 1台のロボットを用いて大規模な認識ベースのナビゲーションデータを収集するコストの高さに対処すること。
• 異なる動的特性を持つロボットから得た異種のデータセットを、深層強化学習アルゴリズムが効果的に活用できるようにすること。
• テスト時の計画において、実装ロボットの物理的制約を尊重する手法を開発すること。
• 認識モデルと動的モデルを階層的フレームワークで統合することで、ナビゲーション性能を向上させること。

提案手法

• HIntは、異なる動的特性を持つ複数のプラットフォームから収集された多様なロボットデータセットを用いて、分離された認識モデルと動的モデルを学習する。
• テスト時に、HIntは認識モデルと動的モデルを階層的に統合し、実装ロボットの物理的特性を尊重する行動を生成する。
• 階層的統合により、高レベルの認識意思決定と低レベルの動的制御の組み合わせによる計画が可能になる。
• 2段階の意思決定構造を用いる：高レベル方策は認識に基づいてナビゲーション目標を選択し、低レベル方策は動的モデルを用いて運動計画を実行する。
• 認識と動的学習を分離することで、ロボット間の転移学習を支援するフレームワークを提供する。
• 行動を実装ロボットの動的制限に制約することで、安全かつ実行可能な行動実行を保証する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、異なる動的特性を持つロボットから収集された異種のロボットデータセットを、効果的に活用できるか？
• RQ2 認識モデルと動的モデルをどのように階層的に統合することで、ロボット固有の物理的制約を尊重しながらナビゲーション性能を向上させられるか？
• RQ3 提案された階層的統合は、従来の階層的方策および単一ソース学習アプローチを上回る性能を発揮するか？
• RQ4 この手法は、テスト時の実装において、さまざまなロボットプラットフォームにどの程度一般化可能か？

主な発見

• HIntは、モバイルナビゲーションタスクにおいて、従来の階層的方策よりも優れたナビゲーション性能を達成する。
• 認識モデルと動的モデルを、実装ロボットの物理的特性を尊重する形で統合することで、異なるロボットプラットフォーム間での一般化に成功する。
• 多様で異種のデータセットを用いた学習において、HIntはより高いサンプル効率とロバストネスを示す。
• モデルの階層的統合により、エンドツーエンドまたは単一ソース学習アプローチに比べて、より優れた行動計画が可能になる。