[論文レビュー] Unsupervised Visuomotor Control through Distributional Planning Networks

Tianhe Yu, Gleb Shevchuk+2 more|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本稿では、ラベルなし相互作用データから制御中心のメトリクス空間を学習する非教師あり手法であるDistributional Planning Networks (DPN) を提案する。この手法により、ゴール画像のみを用いてロボットが目標への進行状況を自律的に評価できるようになる。DPNは、シミュレーションおよび現実世界の視覚的運動制御タスクにおいて、先行する非教師あり手法を上回り、人為的な報酬関数なしで成功した強化学習を達成する。

ABSTRACT

While reinforcement learning (RL) has the potential to enable robots to autonomously acquire a wide range of skills, in practice, RL usually requires manual, per-task engineering of reward functions, especially in real world settings where aspects of the environment needed to compute progress are not directly accessible. To enable robots to autonomously learn skills, we instead consider the problem of reinforcement learning without access to rewards. We aim to learn an unsupervised embedding space under which the robot can measure progress towards a goal for itself. Our approach explicitly optimizes for a metric space under which action sequences that reach a particular state are optimal when the goal is the final state reached. This enables learning effective and control-centric representations that lead to more autonomous reinforcement learning algorithms. Our experiments on three simulated environments and two real-world manipulation problems show that our method can learn effective goal metrics from unlabeled interaction, and use the learned goal metrics for autonomous reinforcement learning.

研究の動機と目的

• 視覚ベースのロボット工学における人為的報酬関数なしの自律的強化学習を可能にすること。
• ラベルなし相互作用データから、目標への進行状況を反映する制御中心のメトリクス空間を学習すること。
• ピクセル単位の距離や密度に基づく表現の限界を克服し、目標進行状況を測定すること。
• 1枚のゴール画像のみを用いて、多様な操作タスクに一般化可能な手法を開発すること。
• 行動の結果と整合するメトリクスを学習することで、視覚的ごまいを無視し、より速く信頼性の高いRLを実現すること。

提案手法

• 行動シーケンスが最終状態に到達するように最適化される二値報酬関数を用いて、最終状態に到達する行動シーケンスを最適化するメトリクス空間を学習する。
• 行動に起因する状態変化を捉える分布的メトリクスを明示的に最適化し、非行動関連の視覚的変動を無視する。
• 非教師あり相互作用データを用いて、ニューラルネットワークがゴール条件付きメトリクス下での行動シーケンスの尤度を予測するように訓練する。
• 模倣学習の代替として、シミュレートされた専門家のデモンストレーションではなく、現実世界の相互作用から学習する。
• ゴール状態に到達するシーケンスが尤もらしい高さになるようにメトリクスを訓練し、制御中心の表現を促進する。
• 任意の行動シーケンスは、その最終状態がゴールであれば最適であるという原則を活用し、自己教師学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの視覚的相互作用から、報酬形状なしに意味のある目標メトリクスを学習できるか？
• RQ2 行動に起因する状態変化を考慮する制御中心のメトリクスは、一般の表現学習に比べて視覚的運動制御で優れているか？
• RQ3 このようなメトリクスは、現実世界の操作タスクにおいて効果的かつサンプル効率の良い強化学習を可能にするか？
• RQ4 逆モデルやオートエンコーダーと比較して、このメトリクスはタスク関連の特徴と干渉要因の視覚的特徴をどのように区別するか？
• RQ5 このメトリクスは、到達、押す、ロープ操作といった異なるタスクに一般化可能か？

主な発見

• DPNは、ラベルなしデータと1枚のゴール画像のみを用いて、シミュレーション上の到達、押す、ロープ操作タスクで自律的強化学習を成功させた。
• 現実世界の押すタスクでは、DPNメトリクスによりエージェントがゴールに物体を確実に押すことができたが、逆モデルは誤った報酬形状のため失敗した。
• 押すタスクの後半の画像において、DPNメトリクスは正しく類似性を特定したが、逆モデルは初期の画像と誤って小さな潜在距離を関連づけ、劣悪なポリシー学習を引き起こした。
• 両シミュレーションおよび現実世界の実験において、最先端の非教師あり目標表現手法よりも収束が早く、より高い成功確率を達成した。
• DPNメトリクスは干渉物体や照明の変化を効果的に無視し、物体の位置や形状といったタスク関連特徴に焦点を当てた。
• 異なるカメラアングルや視覚的条件に対してもロバストであることが示され、特定の視覚的外観を超えた一般化能力を示した。