[論文レビュー] Offline Reinforcement Learning for Visual Navigation

Dhruv Shah, Arjun Bhorkar+4 more|arXiv (Cornell University)|Dec 16, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

ReViND は、事前収集済みデータセットを用いてオンライン微調整や追加のデータ収集を一切行わずに、ユーザーが指定した報酬関数（例：芝生にとどまる、影を避ける）を最適化しながら、遠くのゴールへの現実世界のロボットナビゲーションを実現するオフライン強化学習システムである。このシステムは、ゴール条件付きオフライン Q 学習とトポロジカルグラフ計画を組み合わせ、視覚的ナビゲーションを実現する。

ABSTRACT

Reinforcement learning can enable robots to navigate to distant goals while optimizing user-specified reward functions, including preferences for following lanes, staying on paved paths, or avoiding freshly mowed grass. However, online learning from trial-and-error for real-world robots is logistically challenging, and methods that instead can utilize existing datasets of robotic navigation data could be significantly more scalable and enable broader generalization. In this paper, we present ReViND, the first offline RL system for robotic navigation that can leverage previously collected data to optimize user-specified reward functions in the real-world. We evaluate our system for off-road navigation without any additional data collection or fine-tuning, and show that it can navigate to distant goals using only offline training from this dataset, and exhibit behaviors that qualitatively differ based on the user-specified reward function.

研究の動機と目的

• コストの高いオンラインデータ収集に依存せず、既存のオフラインデータセットを活用するスケーラブルで現実世界対応のロボットナビゲーションシステムの開発。
• オフライン強化学習と事前ラベル付け済み報酬関数のみを用いて、100メートル以上の長距離ゴールへのナビゲーションを実現すること。
• ユーザー指定の報酬関数を変更することで、芝生の道を好む、日差しの強いルートを選ぶなど、多様なナビゲーション行動をサポートすること。
• 反応型ポリシーとアシスト学習の限界を克服し、計画とオフライン強化学習を統合することで、より優れた一般化性能と報酬に配慮した行動を実現すること。

提案手法

• ユーザー指定の報酬ラベルを用いて、生の視覚的観測とオフラインの軌道データから直接、ゴール条件付きポリシーを Implicit Q-Learning (IQL) で学習する。
• ノードを視覚的観測、エッジを学習済み価値関数に基づいて定義するトポロジカルグラフを構築し、−Vπ を距離指標として用いる。
• 長時間スケールの報酬関数を最大化する最小コスト経路を探索するために、トポロジカル表現上でグラフ探索を実行する。
• IQL による低レベルのポリシー実行と、グラフ探索による高レベルの計画を統合することで、局所的ナビゲーションの正確性とグローバルな報酬最適化の両方を達成する。
• 事前学習に 30 時間分の公開済みデータセットを活用し、報酬関数は後からラベリングすることで、新規環境への展開を可能にする。
• ポリシーのデータ収集や微調整を一切行わず、オフラインデータと報酬再重み付けにのみ依存して、実世界にシステムをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 事前収集済みデータセットのみを用いて、オフライン強化学習を現実世界の長時間スケールの視覚的ナビゲーションに効果的に適用できるか？
• RQ2 オフライン強化学習とトポロジカル計画を統合することで、ユーザー指定の報酬関数に基づく多様なナビゲーション行動を実現できるか？
• RQ3 インスティチューション学習やオンライン強化学習のベースラインと比較して、ゴール到達成功率と報酬最大化の観点で、このシステムはどの程度の性能を示すか？
• RQ4 微調整なしに、視覚的に類似しているが以前に見たことのない環境へどの程度一般化できるか？

主な発見

• ReViND は、オフライン学習のみで、かつオンラインデータ収集なしに、新規の視覚的に類似した環境で 100 メートル以上の距離を越えるゴールに到達することに成功した。
• 報酬関数に応じて、明確に異なる行動を示した（例：芝生の地形を好む、新しく刈った芝を避ける）ことから、効果的な報酬一般化が実現された。
• 特に 15〜20 メートルを超える長時間スケールのタスクでは、反復学習（BC, fBC）とモデルフリー強化学習（IQL）の両方を上回り、フラットポリシーが「バッテリー直線走行」や衝突によって失敗するのを回避した。
• グラフベースの計画はフラットポリシーに比べて顕著に性能向上を示し、報酬最大化の観点でも、フィルタリングベースのアプローチ（fBC-graph）を常に上回った。
• 定量的評価では、ReViND はベースラインと比較して平均的な効用が高く、離脱率が低く、多様な報酬目的において一貫した成功を示した。
• このシステムの性能は、多様で報酬ラベル付きのデータの可用性に強く依存しており、データセットに存在しない行動（例：道路データのみの場合は非舗装路走行）は学習できない。