[論文レビュー] CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels

Yongqian Xiao, Xin Xu+1 more|arXiv (Cornell University)|Feb 19, 2021

Model Reduction and Neural Networks参考文献 13被引用数 8

ひとこと要約

本稿では、エncoder-decoderアーキテクチャを用いて、Koopman作用素理論の制約のもとで、学習可能なパラメータとしての状態遷移行列と制御行列を用いることで、生のピクセル入力から解釈可能な線形潜在動的特性を学習する、CKNetと呼ばれるKoopman作用素に基づく深層畳み込みニューラルネットワークを提案する。CKNetは、オフラインおよびオンラインの連続制御環境において、長時間にわたる安定した潜在状態と再構成画像の予測を達成しており、DCKNetとVCKNetは、タスク間で類似した固有関数の進化パターンを示す。

ABSTRACT

With the development of end-to-end control based on deep learning, it is important to study new system modeling techniques to realize dynamics modeling with high-dimensional inputs. In this paper, a novel Koopman-based deep convolutional network, called CKNet, is proposed to identify latent dynamics from raw pixels. CKNet learns an encoder and decoder to play the role of the Koopman eigenfunctions and modes, respectively. The Koopman eigenvalues can be approximated by eigenvalues of the learned state transition matrix. The deterministic convolutional Koopman network (DCKNet) and the variational convolutional Koopman network (VCKNet) are proposed to span some subspace for approximating the Koopman operator respectively. Because CKNet is trained under the constraints of the Koopman theory, the identified latent dynamics is in a linear form and has good interpretability. Besides, the state transition and control matrices are trained as trainable tensors so that the identified dynamics is also time-invariant. We also design an auxiliary weight term for reducing multi-step linearity and prediction losses. Experiments were conducted on two offline trained and four online trained nonlinear forced dynamical systems with continuous action spaces in Gym and Mujoco environment respectively, and the results show that identified dynamics are adequate for approximating the latent dynamics and generating clear images. Especially for offline trained cases, this work confirms CKNet from a novel perspective that we visualize the evolutionary processes of the latent states and the Koopman eigenfunctions with DCKNet and VCKNet separately to each task based on the same episode and results demonstrate that different approaches learn similar features in shapes.

研究の動機と目的

• 従来の解析的手法が失敗する複雑なシステムにおける高次元ピクセルベースの動的特性をモデル化する課題に対処すること。
• 非線形システムの連続的行動空間に対して、データ駆動型で解釈可能かつ時間不変な潜在動的特性モデルを構築すること。
• Koopmanベースのモデリングにおける手動による辞書設計の限界を克服し、特徴表現に深層ニューラルネットワークを導入すること。
• 内在的状態の測定を必要とせず、生のピクセルから予測可能な線形動的特性を学習することで、エンドツーエンド制御を可能にすること。
• 多段階の線形性と再構成誤差を低減する補助損失項を導入することで、予測の精度と安定性を向上させること。

提案手法

• CKNetは、エンコーダがKoopman固有関数を近似し、デコーダが潜在表現から状態を再構成する深層オートエンコーダフレームワークを採用する。
• 状態遷移行列と制御行列は、潜在空間における時間不変な動的特性を保証するために学習可能なテンソルとして訓練される。
• 2つの変種が提案される：DCKNet（決定的）とVCKNet（変分的）、両者ともKoopman作用素理論の制約を満たし、線形で解釈可能な動的特性を保証する。
• モデルは多段階予測損失と、長時間にわたる線形性と再構成誤差を低減する補助重み項を用いて訓練される。
• Koopman固有値は、学習された状態遷移行列の固有値から近似され、潜在動的特性のスペクトル解析が可能になる。
• 本手法は、GymおよびMuJoCo環境におけるオフラインおよびオンラインの訓練設定の両方で、連続制御タスクに適用されている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、生のピクセル観測から非線形動的特性をモデル化するために、Koopman固有関数と固有モードを効果的に学習できるか？
• RQ2 DCKNetとVCKNetの2つのバリアントは、一貫性のある潜在動的特性と固有関数の進化をどの程度効果的に学習できるか？
• RQ3 CKNetは、発散を伴わずに長時間にわたって潜在状態を予測し、画像を再構成できるか？
• RQ4 補助損失項は、学習された動的特性における多段階予測精度と線形性誤差をどの程度改善するか？
• RQ5 異なる訓練パラダイム（オフライン対オンライン）は、同定されたKoopmanベースのモデルの解釈可能性と安定性にどのような影響を及えるか？

主な発見

• CKNetは、生のピクセルから線形的で解釈可能な潜在動的特性を効果的に学習しており、DCKNetとVCKNetの両者がタスク間で類似した形状のKoopman固有関数の進化を示している。
• オフラインで訓練されたタスクでは、潜在状態の安定した長時間予測が達成され、明確で正確な画像再構成が生成されている。
• オンラインで訓練されたMuJoCoタスクでは、Cheetah-runおよびCartPole-balanceタスクで良好な性能を示しており、潜在状態予測の平均絶対誤差（MAE）が低く抑えられているが、高速移動または小さな物体のタスクでは性能が低下している。
• 補助損失項は、多段階線形性誤差と予測誤差を顕著に低減し、長時間予測の安定性を向上させた。
• 可視化結果から、小さな固有値に対応する固有関数は進化過程でより少ない変動を示しており、安定したスペクトル的挙動であることが確認された。
• DCKNetとVCKNetの間で、潜在状態とKoopman固有関数の進化プロセスは一貫しており、VCKNetのサンプリングに基づく推論と状態遷移ダイナミクスの違いにもかかわらず、その一貫性が保たれている。