[論文レビュー] Decoupling feature extraction from policy learning: assessing benefits of state representation learning in goal based robotics

Antonin Raffin, Ashley Hill+4 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 21被引用数 24

ひとこと要約

本論文は、ゴールベースロボティクスにおける状態表現学習（SRL）を方策学習から分離することを提案し、スタックされたSRLコンポーネントを用いてコンパクトで分離された状態表現を学習することで、サンプル効率と方策性能が著しく向上することを実証している。この手法はエンドツーエンド学習や生のピクセルよりも優れており、高速な収束性とハイパーパramータに対するロバスト性を示し、近似的最適な性能を達成している。

ABSTRACT

Scaling end-to-end reinforcement learning to control real robots from vision presents a series of challenges, in particular in terms of sample efficiency. Against end-to-end learning, state representation learning can help learn a compact, efficient and relevant representation of states that speeds up policy learning, reducing the number of samples needed, and that is easier to interpret. We evaluate several state representation learning methods on goal based robotics tasks and propose a new unsupervised model that stacks representations and combines strengths of several of these approaches. This method encodes all the relevant features, performs on par or better than end-to-end learning with better sample efficiency, and is robust to hyper-parameters change.

研究の動機と目的

• 視覚ベースのロボット制御における特徴抽出を方策学習から分離することの利点を評価すること。
• ゴールベースタスクにおけるさまざまな状態表現学習（SRL）手法が、サンプル効率と方策性能に与える影響を評価すること。
• 複数の目的をスタックされた表現を通じて統合することで、分離性とロバスト性を向上させる新しいSRL手法を設計すること。
• ハイパーパramータ、状態次元、およびトレーニングセットサイズがSRL性能に与える影響を調査すること。
• SRLベースの方策がシミュレーションから現実世界のロボットデプロイメントに効果的に転送可能かどうかを検証すること。

提案手法

• 著者らは、目的を混合するのではなく、異なる目的で訓練された複数の表現ヘッドをスタックすることで、矛盾する目的を低減し、分離性を向上させる、新しいSRL手法を提案している。
• この手法は、3つの目的を組み合わせている：逆運動学（状態遷移から行動を予測）、再構成（観測値のオートエンコーダー損失）、報酬予測（スパarsな報酬を予測）。
• 各目的は、状態表現の別々の部分に適用されており、モジュール式の学習とより良い特徴分離を可能にしている。
• SRLモデルは、探索方策からのデモンストレーションロールアウトで事前学習された後、PPOベースの方策ネットワークの入力として使用されている。
• 最終的な状態表現は、シミュレーテッドおよび現実世界の環境でProximal Policy Optimization（PPO）により訓練された方策ネットワークの入力として使用されている。
• 本手法は、ナビゲーションやロボットアーム操作を含む複数のゴールベースタスクで評価されており、ハイパーパramータおよびアーキテクチャ選択に関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 状態表現学習を方策学習から分離することで、視覚ベースのゴールベースロボティクスにおけるサンプル効率が向上するか？
• RQ2 逆運動学、再構成、報酬予測といった異なるSRL目的を組み合わせた場合、方策性能にどのように寄与するか？
• RQ3 表現のスタックと混合の違いが、表現の分離性および下流の方策学習に与える影響は何か？
• RQ4 提案されたSRL手法は、ハイパーパramータ、状態次元、およびトレーニングセットサイズの変動に対してどれほどロバストか？
• RQ5 SRLを用いて訓練された方策は、シミュレーションから現実世界のロボットデプロイメントに効果的に転送可能か？

主な発見

• 逆運動学、再構成、報酬予測のそれぞれに別々の表現ヘッドをスタックするSRL Splitsモデルは、ナビゲーション2Dランダムターゲット環境で平均リターン223.4 ± 5.6を達成し、生のピクセル（188.2 ± 9.5）やエンドツーエンド学習ベースラインを上回った。
• スタックされたSRLアプローチは、すべての他のSRL組み合わせを上回り、オートエンコーダー＋報酬／逆運動学（232.1 ± 2.2）で高い性能と安定性を示した。
• 本手法は優れたサンプル効率を示した：SRL表現を用いて訓練された方策は、生のピクセルを用いた方策でさえもはるかに少ないサンプル数で収束した。
• SRL Splitsモデルはハイパーパramータの変更に対してロバストであり、異なるランダムシード、状態次元、およびトレーニングセットサイズにおいて一貫した性能を示した。
• 高品質なSRL表現（例：SRL Splits、オートエンコーダー、真値）で事前学習された方策は、現実世界のデプロイメントにおいてより良い一般化性能を示し、オムニボットロボットでも安定した動作を示した。一方、生のピクセルやランダム特徴に基づく方策はそのような性能を示さなかった。
• アブレーションスタディにより、状態次元やトレーニングセットサイズをある閾値を超えて増加させても性能向上が見られず、飽和効果が確認された。