[論文レビュー] Data-efficient visuomotor policy training using reinforcement learning and generative models

Ali Ghadirzadeh, Petra Poklukar+3 more|arXiv (Cornell University)|Jul 26, 2020

Reinforcement Learning in Robotics参考文献 76被引用数 5

ひとこと要約

本稿では、潜在変数を用いた生成モデルと方策最適化を統合することで、深層視覚運動方策の学習に向けたデータ効率の良い強化学習フレームワークを提案する。この手法は、行動の潜在変数上での部分方策の学習、行動系列の教師なし生成モデルの学習、エンドツーエンドの教師あり方策学習という3段階にタスクを分解する。これにより、データ効率が少なくとも1桁向上し、新しい潜在空間メトリクスを用いた安全な探索と方策性能の予測的評価を可能にする。

ABSTRACT

We present a data-efficient framework for solving visuomotor sequential decision-making problems which exploits the combination of reinforcement learning (RL) and latent variable generative models. Our framework trains deep visuomotor policies by introducing an action latent variable such that the feed-forward policy search can be divided into three parts: (i) training a sub-policy that outputs a distribution over the action latent variable given a state of the system, (ii) unsupervised training of a generative model that outputs a sequence of motor actions conditioned on the latent action variable, and (iii) supervised training of the deep visuomotor policy in an end-to-end fashion. Our approach enables safe exploration and alleviates the data-inefficiency problem as it exploits prior knowledge about valid sequences of motor actions. Moreover, we provide a set of measures for evaluation of generative models such that we are able to predict the performance of the RL policy training prior to the actual training on a physical robot. We define two novel measures of disentanglement and local linearity for assessing the quality of latent representations, and complement them with existing measures for assessment of the learned distribution. We experimentally determine the characteristics of different generative models that have the most influence on performance of the final policy training on a robotic picking task.

研究の動機と目的

• 強化学習における深層視覚運動方策学習のデータ非効率性、特にスパarsな終端報酬下での課題を解決すること。
• 生成モデリングによる有効な行動系列に関する事前知識を組み込むことで、探索の探索空間を縮小すること。
• 学習済みの有効行動の分布からのみサンプリングすることで、安全な探索を可能にするフレームワークの構築。
• 生成モデルの品質を示す予測的評価メトリクスを開発し、そのメトリクスが下流の強化学習方策性能と相関すること。
• 視覚運動方策学習におけるデータ効率に最も影響を与える生成モデルの特性を同定すること。

提案手法

• 行動の潜在変数 α を導入し、方策学習を3段階に分離：α 上での部分方策学習、p_ϑ(τ|α) の生成モデルの教師なし学習、および状態 s に対する完全方策 π_Θ(τ|s) のエンドツーエンド教師あり学習。
• EMアルゴリズムを用い、潜在変数 α を潜在変数として扱い、部分方策 π_θ(α|s) と生成モデル p_ϑ(τ|α) を同時に最適化する。
• 部分方策学習には信頼領域方策最適化（TRPO）アルゴリズムを採用し、時間的信用配分問題を回避するため、文脈付きマルチアームバンディット問題として定式化する。
• 生成モデルの訓練には、モデルタイプに応じた教師なし目的関数を用い、β-VAE や InfoGAN に基づくアプローチを採用し、有効な運動軌道の分布を捉えることに焦点を当てる。
• 2つの新しい評価メトリクスを提案：潜在空間内の分離性を評価する「分離精度」と「分離再現率」（DiP, DiR）、生成プロセスの滑らかさを測る「潜在局所線形性」（L3）。
• サンプル品質の評価には [5] からの精度と再現率を用い、すべてのメトリクスを統合することで、実世界の訓練前の強化学習方策性能を予測する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを強化学習とどのように統合することで、視覚運動方策学習におけるデータ効率を向上させられるか？
• RQ2 生成モデルの潜在空間表現のどの特性が、下流の強化学習方策学習の成功を最も強く予測するか？
• RQ3 生成モデルの評価メトリクスのみを用いて、実世界の訓練前の段階で深層視覚運動方策の性能をどの程度まで予測できるか？
• RQ4 生成モデルの潜在空間における分離性と局所線形性は、方策学習におけるサンプル効率の向上と相関するか？
• RQ5 VAE と GAN のような異なる生成モデルアーキテクチャは、強化学習方策最適化の文脈で、特定の潜在空間特性をどのように活用するか？

主な発見

• 生成モデルの再現率が、モデルタイプにかかわらず、方策学習の成功に最も大きな影響を与える。これは、多様な訓練軌道を再現できる能力が極めて重要であることを示唆する。
• VAE では、生成サンプルの高い精度も重要であることが判明し、訓練データへの忠実度の向上が性能向上に寄与することを示している。
• GAN では、分離再現率（DiR）が方策成功に顕著な寄与を示しており、多様で分離された行動系列を生成できる能力がデータ効率の向上に寄与していることを示唆している。
• 分離精度（DiP）と潜在局所線形性（L3）は、特に構造的な潜在表現を必要とする複雑なタスクにおいて重要なメトリクスとして浮き彫りになった。
• ARD回帰とピアソン相関係数の分析により、再現率、DiP、DiR が方策性能の強力な予測要因であることが確認され、再現率はモデルタイプを問わず一貫して最高の順位を獲得した。
• 提案された評価フレームワークにより、実世界の訓練前の段階で強化学習方策の成功を予測可能となり、潜在空間品質に基づいた生成モデルの的確な選定が可能になった。