[論文レビュー] Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation

Bryan Chen, Alexander F. Sax+6 more|arXiv (Cornell University)|Nov 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 19

ひとこと要約

本論文では、従来のコンピュータビジョンの目的関数から学習された非同期に訓練された中レベルの視覚的表現——視覚的入力として深層強化学習（RL）ポリシーに使用することを提案する。生のピクセルに代えて、不変性があり意味的に意味のある特徴を用いることで、サンプル効率が著しく向上し、分布シフト（特にシミュレーションから実世界への移行）下での一般化性能が向上し、困難な操作およびナビゲーションタスクにおける性能も向上する。特に、困難または未観測の環境において、スクラッチからの学習やドメインランダム化を上回る。

ABSTRACT

Vision-based robotics often separates the control loop into one module for perception and a separate module for control. It is possible to train the whole system end-to-end (e.g. with deep RL), but doing it "from scratch" comes with a high sample complexity cost and the final result is often brittle, failing unexpectedly if the test environment differs from that of training. We study the effects of using mid-level visual representations (features learned asynchronously for traditional computer vision objectives), as a generic and easy-to-decode perceptual state in an end-to-end RL framework. Mid-level representations encode invariances about the world, and we show that they aid generalization, improve sample complexity, and lead to a higher final performance. Compared to other approaches for incorporating invariances, such as domain randomization, asynchronously trained mid-level representations scale better: both to harder problems and to larger domain shifts. In practice, this means that mid-level representations could be used to successfully train policies for tasks where domain randomization and learning-from-scratch failed. We report results on both manipulation and navigation tasks, and for navigation include zero-shot sim-to-real experiments on real robots.

研究の動機と目的

• 中レベルの視覚的表現が、分布シフト下でも一般化性能とサンプル効率を向上させるかどうかを調査すること。
• 中レベル特徴が、顕著な視覚的ドメインシフトを伴う困難なタスクにおいて、スクラッチからの学習やドメインランダム化を上回るかどうかを評価すること。
• 中レベル表現が、複雑で連続的制御が必要な操作およびナビゲーションタスクへのスケーラビリティを評価すること。
• 実ロボット上でゼロショットのシミュレーションから実世界への展開における、中レベル特徴を用いて訓練されたポリシーのロバスト性を分析すること。
• ドメインランダム化などの代替的な不変性エンコード手法と比較して、中レベル表現のトレーニングの安定性と最終的性能を評価すること。

提案手法

• 中レベルのビジョンタスク（例：深度推定、表面法線予測、曲率、セマンティックセグメンテーション）で、教師ありまたは自己教師ありの目的関数を用いて、特徴エンコーダーを事前学習する。このプロセスはRLトレーニングとは独立して実施される。
• 事前学習済みの特徴エンコーダーを固定し、生の観測から視覚的表現を抽出するための知覚的バックボーンとして使用する。得られた特徴は、その後、深層RLポリシーに供給される。
• 中レベル特徴を入力として用い、エンドツーエンドでRLポリシーをトレーニングする。デプロイメント中には追加の適応やファインチューニングを行わない。
• 複数のタスク（例：ピックアンドプレースを含む操作、HabitatおよびGibsonシミュレータでのナビゲーション）でアプローチを評価し、ゼロショットのシミュレーションから実世界への移行も含む。
• ベースライン（生のピクセルからの学習、低次元状態の真値の使用、ドメインランダム化）と性能を比較する。
• 公平な比較を確保するため、すべての手法に対してハイパーパramータースイープを実施し、さまざまなドメインシフト（例：新しいオブジェクト、照明、テクスチャ）下での一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 生のピクセルからの学習と比較して、中レベルの視覚的表現を用いることで、困難な操作およびナビゲーションタスクにおけるポリシー性能と一般化性能が向上するか？
• RQ2 中レベル表現を用いることで、視覚ベースRLにおけるサンプル複雑性が低減され、トレーニングの安定性が向上するか？
• RQ3 特にシミュレーションから実世界への移行において、中レベル表現はドメインランダム化よりも分布シフトの処理に優れているか？
• RQ4 中レベル特徴は、ピクセルからのエンドツーエンド学習と比較して、実世界環境へのゼロショット転送を改善するか？
• RQ5 中レベル表現の性能は、さまざまな環境やタスクにおいて一貫しているか、それとも特定の特徴に強く依存するか？

主な発見

• 中レベル表現を用いて訓練されたポリシーは、スクラッチからの学習やドメインランダム化が完全に失敗した（トレーニングおよびテストともに0%成功）特定のテスト環境で100%の成功率を達成した。
• 中レベルアプローチは、真値の低次元状態を使用した場合とほぼ同等の速度で学習が進み、生のピクセルからの学習に比べてサンプル効率が著しく優れていた。
• シミュレーションから実世界へのゼロショット移行において、中レベル特徴を用いたエージェントはスクラッチからの学習を上回った。特に優れた特徴（例：曲率）を用いた場合、シミュレーションと実ロボットでの性能がほぼ同一であった。
• シミュレーションと実世界環境における特徴性能のスピアマン順位相関係数は ρ = 0.77 であり、ドメインギャップが存在しても特徴の有用性が安定していることを示している。
• 中レベル表現は、新しいオブジェクトやテクスチャなどのさまざまなドメインシフト下での一般化を向上させたが、ドメインランダム化はより困難なタスク（例：トレーニング成功率が100%から70%に低下）で性能を低下させた。
• 特徴の順位付けは環境間で安定していたが、タスク間では安定していなかった。これは、特徴の有用性がタスク構造に依存しており、成功のためにはタスクに適した特徴の選択が不可欠であることを示唆している。