[論文レビュー] Predictive Coding for Locally-Linear Control

Rui Shu, Tung Nguyen+6 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Control Systems Optimization参考文献 33被引用数 4

ひとこと要約

本稿では、明示的な次状態予測の代わりに予測符号化を用いることで、局所線形制御に適した制御可能で潜在的な空間を学習する、デコーダフリーな学習可能埋め込み（LCE）フレームワークを提案する。この手法、PC3は、情報理論的目的関数により予測の不適切さを最小化することで、より高速で高いサンプル効率を実現し、優れた制御性能を達成する。

ABSTRACT

High-dimensional observations and unknown dynamics are major challenges when applying optimal control to many real-world decision making tasks. The Learning Controllable Embedding (LCE) framework addresses these challenges by embedding the observations into a lower dimensional latent space, estimating the latent dynamics, and then performing control directly in the latent space. To ensure the learned latent dynamics are predictive of next-observations, all existing LCE approaches decode back into the observation space and explicitly perform next-observation prediction---a challenging high-dimensional task that furthermore introduces a large number of nuisance parameters (i.e., the decoder) which are discarded during control. In this paper, we propose a novel information-theoretic LCE approach and show theoretically that explicit next-observation prediction can be replaced with predictive coding. We then use predictive coding to develop a decoder-free LCE model whose latent dynamics are amenable to locally-linear control. Extensive experiments on benchmark tasks show that our model reliably learns a controllable latent space that leads to superior performance when compared with state-of-the-art LCE baselines.

研究の動機と目的

• 生のセンサ入力を用いた高次元で未知の力学的システムの制御という課題に対処すること。
• 高容量のデコーダを必要とする従来のLCE手法が抱える制限を克服すること。
• 予測の不適切さを最小化することで、効果的な潜在空間計画を可能にする、パラメータ効率的でデコーダフリーなLCEモデルの開発。
• 予測符号化を通じて学習された制御可能で潜在的な力学的モデルを用いて、信頼性が高く効率的な局所線形制御を実現すること。
• 予測符号化が、LCEフレームワークにおいて次状態予測の理論的に妥当で、実験的に優れた代替手段であることを示すこと。

提案手法

• 潜在空間における予測の不適切さを最小化する情報理論的目的関数を通じてLCE問題を定式化する。
• 明示的な次状態予測を、コンパクトな予測を用いて将来の潜在状態を文脈から再構築する予測符号化に置き換える。
• 表現品質、力学的整合性、曲率正則化を同時に最適化する予測符号化・整合性・曲率（PC3）目的関数を導入する。
• コントラスト型予測符号化損失を用いて、潜在力学的モデルが予測可能で、多段階計画に適していることを保証する。
• デコーダを排除し、エンコーダと潜在力学的モデルをエンドツーエンドで学習することで、モデルの複雑さとパラメータ数を削減する。
• 学習後、学習済みの予測力学的モデルを基に、潜在空間で直接局所線形制御手法（例：LQR）を適用する。

実験結果

リサーチクエスチョン

• RQ1 予測符号化は、LCEフレームワークにおける明示的な次状態予測の代替手段として実用的で理論的に正当化されたものであると言えるか？
• RQ2 予測符号化を用いて学習されたデコーダフリーなLCEモデルは、次状態予測に依存するベースラインと比較して、より優れた制御性能とサンプル効率を達成するか？
• RQ3 予測符号化は、ベースラインと比較して、学習された潜在空間の解釈可能性と制御可能性にどのように影響を与えるか？
• RQ4 PC3目的関数における各成分（予測符号化、整合性、曲率）が最終的な制御性能に果たす寄与は何か？
• RQ5 予測符号化は、デコーダを必要とせず、高次元の観測空間において効果的かつ効率的な局所線形制御を可能にするか？

主な発見

• PC3モデルは、PCC や SOLAR といった最先端のLCEベースラインと比較して、複数のベンチマーク制御タスクで顕著に優れた性能を示し、平均して11.3%の性能向上を達成した。
• PC3は、PCCに比べ1.85倍、SOLARに比べ52.8倍高速に学習を完了させ、顕著な計算効率の向上を示した。
• PC3が学習する潜在表現は、Pendulumのようなタスクにおいて、PCCの次状態予測が過度に慎重な表現を生むのとは対照的に、より解釈可能で意味的に明確である。
• アブレーションスタディの結果、予測符号化のみでは十分な計画性能が得られないことが判明。安定的かつ正確な潜在力学的モデルを実現するには、整合性と曲率正則化の追加が不可欠である。
• PC3は、再学習を必要とせず、複数の制御タスクにわたって学習済みの潜在力学的モデルを再利用できることを示した。これは、SOLARのようなタスク特化型手法とは対照的である。
• Swing Up や 3-Link といった挑戦的なタスクにおいても、PC3は高い成功確率を達成した。PCC や SOLAR は、表現品質の低さや計算コストの高さのため、頻繁に失敗するのに対し、PC3は安定して成功を収めた。