[論文レビュー] Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning

Ryan Julian, Benjamin Swanson+4 more|arXiv (Cornell University)|Apr 21, 2020

Reinforcement Learning in Robotics参考文献 65被引用数 41

ひとこと要約

この論文は、事前学習済みのオフポリシー強化学習ポリシーのファインチューニングが、新しい背景、物体、照明、形態への視覚ベースの把持を、スクラッチからの訓練に必要なデータ量の0.2%未満で適応させ、ImageNetベースの事前学習を上回ることを示している。

ABSTRACT

One of the great promises of robot learning systems is that they will be able to learn from their mistakes and continuously adapt to ever-changing environments. Despite this potential, most of the robot learning systems today are deployed as a fixed policy and they are not being adapted after their deployment. Can we efficiently adapt previously learned behaviors to new environments, objects and percepts in the real world? In this paper, we present a method and empirical evidence towards a robot learning framework that facilitates continuous adaption. In particular, we demonstrate how to adapt vision-based robotic manipulation policies to new variations by fine-tuning via off-policy reinforcement learning, including changes in background, object shape and appearance, lighting conditions, and robot morphology. Further, this adaptation uses less than 0.2% of the data necessary to learn the task from scratch. We find that our approach of adapting pre-trained policies leads to substantial performance gains over the course of fine-tuning, and that pre-training via RL is essential: training from scratch or adapting from supervised ImageNet features are both unsuccessful with such small amounts of data. We also find that these positive results hold in a limited continual learning setting, in which we repeatedly fine-tune a single lineage of policies using data from a succession of new tasks. Our empirical conclusions are consistently supported by experiments on simulated manipulation tasks, and by 52 unique fine-tuning experiments on a real robotic grasping system pre-trained on 580,000 grasps.

研究の動機と目的

• 視覚ベースのロボット操作ポリシーをオフポリシーRLでファインチューニングして新たな変動に適応させる方法を実証する。
• ファインチューニングとスクラッチ訓練またはImageNet特徴の使用による性能・データ効率の向上を定量化する。
• 多様な環境・形態変化に対する事前学習ポリシーの頑健性を評価する。
• 連続学習を調査するため、単一ポリシーを複数タスクで反復的にファインチューニングして転移を測定する。

提案手法

• 多様な物体に渡る580,000回の実際の把持試行を通じて視覚ベースの把持ポリシーを事前学習する（QT-Opt）。
• 6つの挑戦的な変更（背景、照明、グリッパー形状、ロボット形態、未知の透明物体を含む）で基礎ポリシーを評価する。
• オフラインの簡易ファインチューニング手順を提案し、事前学習ポリシーから初期化し、基盤タスクデータとターゲットタスクデータを組み合わせて学習する。
• ターゲットタスクのオフライン探索データを収集（最大800回の把持）し、基底タスクとターゲットタスクのデータの両方を用いて学習率を低減させてポリシーを更新する。
• ターゲットタスクでファインチューニング後の性能を評価し、ScratchおよびImageNetベースの基準と比較する。
• 複数タスクに連続的にファインチューニングして移転と安定性を測定する継続学習実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 限られた新データで事前学習済みのオフポリシーRLポリシーはタスクと環境の大幅な変化にどれだけ適応できるか？
• RQ2 RLベースの事前学習は必須か、それとも監督付き ImageNet事前学習でロボティクスの高速ファインチューニングは十分か？
• RQ3 オフラインのファインチューニングは最小の性能低下で連続学習を支援できるか？

主な発見

• オフポリシーRLでのファインチューニングは、比較的小さなデータセット（探索把持が最大で25件程度）でも全挑戦タスクで顕著な性能向上をもたらす。
• RLでのファインチューニングはScratch（ランダム開始）およびImageNetベースの基準を、Checkerboard Backing、Harsh Lighting、Transparent Bottlesなどのタスクで上回る。
• ベースタスクについては、スクラッチの訓練に必要なデータ量のわずか0.2%ですべてほぼ最先端の性能を達成。
• 連続学習において、連続的なファインチューニングは単一ステップのファインチューニングと比較して通常4–7パーセンテージポイントの小さな性能ペナルティしか生じない。
• RLベースの事前学習による訓練は、ImageNetベースの事前学習より画像処理層におけるパラメータ変化が大きく、新しい感覚運動タスクへの適応を示唆する。