[論文レビュー] Embed to Control: A Locally Linear Latent Dynamics Model for Control from Raw Images

Manuel Watter, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Jun 24, 2015

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 219

ひとこと要約

Embed to Control (E2C) は、未知のシステムモデルを必要とせず、生の画像観測から局所線形な潜在動的モデルを学習する変分オートエンコーダベースの手法である。画像データを動的特性がほぼ線形となる低次元潜在空間に投影することにより、E2C は複雑な視覚的制御タスクにおいて、長期間にわたる画像系列予測と近似的最適な制御性能を達成する。従来の表現学習手法に比べて優れた性能を発揮する。

ABSTRACT

We introduce Embed to Control (E2C), a method for model learning and control of non-linear dynamical systems from raw pixel images. E2C consists of a deep generative model, belonging to the family of variational autoencoders, that learns to generate image trajectories from a latent space in which the dynamics is constrained to be locally linear. Our model is derived directly from an optimal control formulation in latent space, supports long-term prediction of image sequences and exhibits strong performance on a variety of complex control problems.

研究の動機と目的

• 生のピクセル入力から直接非線形力学系のモデルベース制御を可能にし、手作業で設計された状態表現の必要を回避すること。
• 高次元のセンサー入力（例：画像）が確率的最適制御に与える影響を軽減するため、低次元で局所線形な潜在空間を学習すること。
• 潜在動的特性を局所線形に制約することで、長期間にわたる画像系列予測と安定した制御を確保すること。
• iLQG最適制御理論に基づく変分推論フレームワークを用いて、完全に教師なしでモデルを学習すること。
• 生の画像観測からのカート・ポールバランスやロボットアーム制御などの複雑な視覚的制御タスクにおいて優れた性能を示すこと。

提案手法

• E2C は畳み込み型推論ネットワークと逆畳み込み型生成ネットワークを備えた深層変分オートエンコーダを採用し、生の画像を低次元潜在空間にマッピングする。
• 潜在動的特性を局所線形に制約することで、潜在空間内での iLQG を用いた効率的で安定した確率的最適制御が可能になる。
• iLQG の定式化に基づく変分推論目的関数を用いて、エンドツーエンドでモデルを学習し、再構成精度と予測精度の両方を最適化する。
• 画像系列全体にわたるトラジェクトリーロスを適用し、潜在空間内で一貫性があり長期間にわたる画像系列の生成を促進する。
• 潜在状態遷移モデルは再帰的ホライズン制御をサポートするよう学習され、長期間の計画とアクション系列最適化を可能にする。
• 確率的生成モデルを用いることで、妥当な画像トラジェクトリの信念を維持し、不確実性を考慮した制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、生の画像から、システムの動的特性が局所的に線形となる低次元潜在空間を学習できるか？
• RQ2 潜在空間における局所線形動的特性は、生の視覚入力から長期間にわたる画像系列予測と制御を効果的に行えるか？
• RQ3 E2C の性能は、モデルフリーおよび他の表現学習ベースラインと比較して、視覚的制御タスクでどのように異なるか？
• RQ4 潜在空間における局所線形制約は、非線形潜在モデルと比較して、制御の安定性と計画精度を向上させるか？
• RQ5 真のシステム動的特性が入手不可であっても、E2C は複雑な視覚的制御タスクで近似的最適な制御性能を達成できるか？

主な発見

• E2C は視覚的制御タスクで近似的最適な制御性能を達成し、カート・ポールではコスト11.13、ロボットアームでは85.12を記録した。これは真の動的特性を用いた最適コントローラーの7.28および60.74と比較してわずかに劣るのみである。
• モデルは潜在空間内で一貫性があり、長期間にわたる画像系列を効果的に生成でき、長期にわたる時間的ホライズンでの安定的かつ正確な計画を可能にする。
• E2C は、複雑な視覚的制御タスクにおける制御性能および予測精度の面で、複数の教師なし表現学習ベースラインを上回っている。
• 局所線形潜在動的特性モデルにより、元の画像空間が高次元かつ非線形であっても、iLQG を用いた強固で効率的な制御が可能になる。
• 本手法は、古典的制御問題からシミュレーテッドロボットシステムに至るまで、多様な制御タスクに良好に一般化でき、生の画像観測のみを入力として用いる。
• アップコンvolutionネットワークを備えた深層生成モデルは、潜在軌道から高解像度の画像系列を効果的に生成するのに有効であることが示された。