[論文レビュー] DeepKoCo: Efficient latent planning with an invariant Koopman representation.

Bas van der Heijden, Laura Ferranti+2 more|arXiv (Cornell University)|Nov 25, 2020

Model Reduction and Neural Networks被引用数 5

ひとこと要約

DeepKoCoは、損失のある自己符号化器を用いて画像から不変のコプマン表現を学習するモデルベース強化学習エージェントを提案する。これにより、モデル予測制御を用いた線形計画が効率的に行える。性能はモデルフリー手法と同等でありながら、タスクに不要なダイナミクスに対しては頑健であるため、実世界への適用に適している。

ABSTRACT

This paper presents DeepKoCo, a novel model-based agent that learns a latent Koopman representation from images. This representation allows DeepKoCo to plan efficiently using linear control methods, such as linear model predictive control. Compared to traditional agents, DeepKoCo is invariant to task-irrelevant dynamics, thanks to the use of a tailored lossy autoencoder network that allows DeepKoCo to learn latent dynamics that reconstruct and predict only observed costs, rather than all observed dynamics. As our results show, DeepKoCo achieves a similar final performance as traditional model-free methods on complex control tasks, while being considerably more robust to distractor dynamics, making the proposed agent more amenable for real-life applications.

研究の動機と目的

• 視覚ベースの制御タスクにおける効率的計画を可能にするモデルベースエージェントの開発。
• 観測されたコストにのみ注目する潜在表現の学習により、タスクに不要なダイナミクスへの感受性を低減すること。
• 複雑で高次元の視覚的環境において、線形制御手法（例：線形MPC）を活用できるようにすること。
• ドライバのダイナミクスが一般的な現実世界のシナリオにおける頑健性を向上させること。
• モデルフリー手法と同等のパフォーマンスを達成しながら、計算効率を維持すること。

提案手法

• 視覚的観測を低次元潜在空間に圧縮するために、特化した損失のある自己符号化器ネットワークを用いる。
• 潜在ダイナミクスはコプマン作用素を用いてモデル化され、将来の状態とコストの線形予測が可能になる。
• 訓練は、全ダイナミクスの再構成よりも、観測されたコストの再構成と予測を優先する損失関数を用いて行う。
• 潜在空間で線形モデル予測制御（MPC）を適用して、効率的な計画を実現する。
• コストに焦点を当てた訓練目的のおかげで、コプマン表現はタスクに不要なダイナミクスに対して不変である。
• エージェントは潜在空間で線形制御手法を用いて計画を行うため、非線形計画と比較して計算コストを著しく削減できる。

実験結果

リサーチクエスチョン

• RQ1 コプマンに基づく表現は、高次元の視覚的制御タスクにおいて効率的計画を可能にするか？
• RQ2 タスクに不要なダイナミクスに対する不変性は、現実世界の環境における頑健性をどのように向上させるか？
• RQ3 コストに焦点を当てた潜在表現は、モデルフリーのエージェントと同等のパフォーマンスを達成できるか？
• RQ4 潜在空間における線形制御は、サンプル効率性と頑健性の面で非線形計画をどの程度上回るか？
• RQ5 損失のある自己符号化器の設計は、最小限でタスクに関連するダイナミクス表現を学習するためにどのように寄与するか？

主な発見

• DeepKoCoは、複雑な制御タスクにおいて、最先端のモデルフリーのエージェントと同等の最終的パフォーマンスを達成した。
• 従来のモデルベースエージェントと比較して、干渉要因のダイナミクスに対して著しく高い頑健性を示した。
• 潜在空間におけるコプマン空間での線形モデル予測制御により、効率的かつスケーラブルな計画が可能になった。
• 損失のある自己符号化器のおかげで、潜在表現に観測可能なコストにのみ注目することで、タスクに不要なダイナミクスに対する不変性が保証された。
• 誤った環境的ダイナミクスへの感受性が低減され、現実世界への適用性が向上した。
• コプマン表現により、潜在空間における線形ダイナミクスを用いて、長時間スパンのコスト予測が高精度で可能になった。