[論文レビュー] VRL3: A Data-Driven Framework for Visual Deep Reinforcement Learning

Che Wang, Xufang Luo+2 more|arXiv (Cornell University)|Feb 17, 2022

Tactile and Sensory Interactions被引用数 5

ひとこと要約

VRL3 は、非強化学習データセット（例：ImageNet）、オффラインのエキスパートデモンストレーション、およびオンライン強化学習を活用するデータ駆動型で3段階のフレームワークであり、視覚的深層強化学習において最先端のデータ使用効率を達成する。ハンドマニピュレーションタスクでは最大780%、最も難しいタスクでは1220%のデータ使用効率の向上を達成し、従来の最先端手法と比較して計算量を90%削減する。

ABSTRACT

We propose VRL3, a powerful data-driven framework with a simple design for solving challenging visual deep reinforcement learning (DRL) tasks. We analyze a number of major obstacles in taking a data-driven approach, and present a suite of design principles, novel findings, and critical insights about data-driven visual DRL. Our framework has three stages: in stage 1, we leverage non-RL datasets (e.g. ImageNet) to learn task-agnostic visual representations; in stage 2, we use offline RL data (e.g. a limited number of expert demonstrations) to convert the task-agnostic representations into more powerful task-specific representations; in stage 3, we fine-tune the agent with online RL. On a set of challenging hand manipulation tasks with sparse reward and realistic visual inputs, compared to the previous SOTA, VRL3 achieves an average of 780% better sample efficiency. And on the hardest task, VRL3 is 1220% more sample efficient (2440% when using a wider encoder) and solves the task with only 10% of the computation. These significant results clearly demonstrate the great potential of data-driven deep reinforcement learning.

研究の動機と目的

• スパarselyリワードで現実的な視覚入力を有する視覚的深層強化学習における低いデータ使用効率の課題に対処すること。
• 非強化学習データセット、オフラインデモンストレーション、オンライン強化学習データを完全に活用する、シンプルでありながら強力なフレームワークの開発。
• 多様なデータソースを原理的かつモジュール化されたパイプラインで統合することで、視覚的制御タスクにおける一般化性とロバスト性を向上させること。
• オープンソースのコード、詳細なアブレーション、再実装された強力なベースラインとの比較を通じて、再現性を最大化すること。

提案手法

• 段階1では、タスクに依存しない視覚的表現を学ぶために、大規模な非強化学習データセット（例：ImageNet）を用いてビジョンエンコーダーを事前学習する。
• 段階2では、事前学習されたエンコーダーを初期化として用い、エージェントのアクター・クリティックを構築し、エキスパートデモンストレーションまたは収集済みのオフラインデータを用いてオフライン強化学習技術でファインチューニングする。
• 段階2の間、エンコーダーとポリシー・クリティックの両方を同時に最適化することで、タスク固有の表現を学習する。
• 段階3では、オフラインデータから初期化されたリプレイバッファを用いて、オフポリシー強化学習を適用し、Catastrophic Forgettingを防ぐために制約付きのQターゲット更新を実施する。
• フレームワークはオフポリシー学習を用いることで、全3段階にわたりデータの再利用を最大化し、安定性を確保する。
• ハイパーパramータの感度分析と、非強化学習から視覚的強化学習タスクへのスムーズなドメイン移行を保証するための注意深いアーキテクチャ設計により、ロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 非強化学習、オフライン、オンラインのデータを組み合わせたデータ駆動型フレームワークが、視覚的DRLにおけるデータ使用効率を顕著に向上させることができるか？
• RQ2 ImageNet などの大規模な非強化学習データセットでの事前学習が、スパarselyリワード環境における下流の視覚的制御性能にどのような影響を与えるか？
• RQ3 事前学習済みの視覚的表現と組み合わせた場合、オフラインデモンストレーションが視覚的DRLにおける学習にどの程度寄与するか？
• RQ4 マルチステージフレームワークにおいて、オフラインからオンライン強化学習に移行する際、学習の安定性をどのように維持できるか？
• RQ5 エンコーダーの幅といったアーキテクチャ選択が、最終的なデータ使用効率および性能に与える影響はどの程度か？

主な発見

• スパarselyリワードな挑戦的な視覚的制御タスクのセットにおいて、VRL3 は従来のSOTAと比較して平均で780%高いデータ使用効率を達成する。
• 最も難しいタスクでは1220%高いデータ使用効率を示し、より幅広いエンコーダーを用いることで、2440%の高い効率にまで向上する。
• VRL3 は、従来のSOTAが要請する計算量の10%でのみ、最も難しいタスクを解消でき、顕著な効率向上を示している。
• Adroitベンチマークにおいて、VRL3 は競合手法よりもはるかに少ないデータサンプルで95%の成功率を達成し、ベースラインを上回る性能を示している。
• 広範なアブレーションスタディにより、各段階が性能向上に有意に寄与していることが確認され、ハイパーパramータの変化に対しても方法はロバストである。
• フレームワークは再現可能であり、完全な技術的詳細と公平な比較のための再実装ベースラインを含むオープンソースで公開されている。