[論文レビュー] Prediction, Consistency, Curvature: Representation Learning for Locally-Linear Control

Nir Levine, Yinlam Chow+4 more|arXiv (Cornell University)|Sep 4, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用数 8

ひとこと要約

本稿では、iLQRなどの局所線形制御アルゴリズムに最適な潜在表現を学習するための予測・整合性・曲率（PCC）フレームワークを提案する。表現学習を最適制御問題として定式化することで、PCCは予測、整合性、曲率の3つの成分からなる損失関数を導入し、安定的かつ再現可能な学習と、先行手法に比べて優れた制御性能を達成する。視覚ベースの制御タスクにおいて顕著な向上を示す。

ABSTRACT

Many real-world sequential decision-making problems can be formulated as optimal control with high-dimensional observations and unknown dynamics. A promising approach is to embed the high-dimensional observations into a lower-dimensional latent representation space, estimate the latent dynamics model, then utilize this model for control in the latent space. An important open question is how to learn a representation that is amenable to existing control algorithms? In this paper, we focus on learning representations for locally-linear control algorithms, such as iterative LQR (iLQR). By formulating and analyzing the representation learning problem from an optimal control perspective, we establish three underlying principles that the learned representation should comprise: 1) accurate prediction in the observation space, 2) consistency between latent and observation space dynamics, and 3) low curvature in the latent space transitions. These principles naturally correspond to a loss function that consists of three terms: prediction, consistency, and curvature (PCC). Crucially, to make PCC tractable, we derive an amortized variational bound for the PCC loss function. Extensive experiments on benchmark domains demonstrate that the new variational-PCC learning algorithm benefits from significantly more stable and reproducible training, and leads to superior control performance. Further ablation studies give support to the importance of all three PCC components for learning a good latent space for control.

研究の動機と目的

• 高次元の観測空間において、局所線形制御（LLC）アルゴリズムに適した潜在表現を学習する課題に対処すること。
• LLC手法による有効な制御を可能にするために、潜在空間が満たすべき3つの鍵となる原則（予測、整合性、曲率）を同定し、形式化すること。
• PCC目的関数の下で潜在変数モデルを学習可能な、実行可能な変分推論手法を開発し、計算の可能性を保証すること。
• すべてのPCCの3成分が、高い制御性能と学習の安定性を達成するために不可欠であることを実証的に検証すること。

提案手法

• 最適制御の観点から表現学習問題を定式化し、観測ダイナミクスの正確な予測、潜在ダイナミクスと真のダイナミクスの整合性、潜在遷移における低曲率という3つの原則を導出する。
• 予測損失（再構成誤差）、整合性損失（符号化された軌道ダイナミクスの一致）、曲率損失（潜在ダイナミクスのヘッセ行列ノルムの最小化）から成る3項のPCC損失関数を設計する。
• PCC損失のためのアンモアタイズド変分バウンドを導出し、学習を実行可能にする。これにより、潜在モデルのエンドツーエンド微分可能な学習が可能になる。
• 曲率損失におけるヤコビアン計算の直接的アンモアタイズドを導入し、学習の効率性と安定性を向上させる。
• 変分オートエンコーダアーキテクチャを採用し、別個のダイナミクスおよび逆方向ダイナミクスヘッドを備え、PCC目的関数の下で同時に学習する。
• 潜在空間における計画にイテレーティブLQR（iLQR）を用い、低曲率特性を活かして一次近似を高精度に保つ。

実験結果

リサーチクエスチョン

• RQ1 最適制御原理から体系的に導出可能な表現学習フレームワークは、局所線形制御アルゴリズムの性能を向上させ得るか？
• RQ2 潜在空間にどのような具体的な性質が求められると、潜在空間におけるiLQR計画が近似的に最適な制御方策を導くことができるか？
• RQ3 損失関数の予測・整合性・曲率の3成分が、共同で学習の安定性と制御性能にどのように影響を与えるか？
• RQ4 提案された曲率正則化項は実際の応用において有効であり、計算的にも実行可能であるか？
• RQ5 アブレーションスタディによって、PCCフレームワークにおける3つの成分すべてが不可欠であることがどの程度裏付けられているか？

主な発見

• PCCモデルは、視覚ベースの制御ベンチマークにおいてE2CやRCEを著しく上回り、ノイズありPlanarドメインでは最良のモデルを用いて44.7%の成功率を達成した（E2Cは6.1%、RCEは5.5%）。
• ノイズなしPlanar環境では、PCCは全モデルで17.9%の成功率を達成したのに対し、E2Cは0.6%、R2Cは1.2%であった。これは顕著な性能向上を示している。
• アブレーションスタディにより、整合性または曲率正則化を削除すると性能が著しく低下することが確認され、両者の必要性が裏付けられた。
• PCCの学習プロセスは、評価されたすべての環境でランダムシードごとの分散が小さく、ベースライン手法よりも安定的かつ再現可能であった。
• 提案された曲率正則化項は新規かつ効果的であり、ヤコビアン計算の直接的アンモアタイズドにより、効率的かつ安定的な学習が可能になった。
• 3リンクマニピュレータタスクでは、ノイズあり設定でPCCは1.8%の成功率を達成した（RCEは0%、E2Cは1.3%）。高ノイズ下でも高いロバストネスを示した。