[논문 리뷰] CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels

Yongqian Xiao, Xin Xu외 1명|arXiv (Cornell University)|2021. 02. 19.

Model Reduction and Neural Networks참고 문헌 13인용 수 8

한 줄 요약

이 논문은 코프만 연산자 기반의 딥 컨volution 네트워크인 CKNet을 제안한다. CKNet은 인코더-디코더 아키텍처를 사용하여 원시 픽셀 입력으로부터 해석 가능한 선형 잠재 동역학을 학습한다. 코프만 이론의 제약 조건 하에 상태 전이 행렬과 제어 행렬을 학습 가능한 파라미터로 설정함으로써, CKNet은 오프라인 및 온라인 연속 제어 환경에서 장기 예측 및 안정적인 잠재 상태와 재구성된 이미지 예측을 달성한다. DCKNet과 VCKNet은 다양한 작업에서 유사한 고유기능 진동 패턴을 보였다.

ABSTRACT

With the development of end-to-end control based on deep learning, it is important to study new system modeling techniques to realize dynamics modeling with high-dimensional inputs. In this paper, a novel Koopman-based deep convolutional network, called CKNet, is proposed to identify latent dynamics from raw pixels. CKNet learns an encoder and decoder to play the role of the Koopman eigenfunctions and modes, respectively. The Koopman eigenvalues can be approximated by eigenvalues of the learned state transition matrix. The deterministic convolutional Koopman network (DCKNet) and the variational convolutional Koopman network (VCKNet) are proposed to span some subspace for approximating the Koopman operator respectively. Because CKNet is trained under the constraints of the Koopman theory, the identified latent dynamics is in a linear form and has good interpretability. Besides, the state transition and control matrices are trained as trainable tensors so that the identified dynamics is also time-invariant. We also design an auxiliary weight term for reducing multi-step linearity and prediction losses. Experiments were conducted on two offline trained and four online trained nonlinear forced dynamical systems with continuous action spaces in Gym and Mujoco environment respectively, and the results show that identified dynamics are adequate for approximating the latent dynamics and generating clear images. Especially for offline trained cases, this work confirms CKNet from a novel perspective that we visualize the evolutionary processes of the latent states and the Koopman eigenfunctions with DCKNet and VCKNet separately to each task based on the same episode and results demonstrate that different approaches learn similar features in shapes.

연구 동기 및 목표

• 기존 분석 방법이 실패하는 복잡한 시스템에서 고차원 픽셀 기반 동역학을 모델링하는 데 도전한다.
• 데이터 기반이며 해석 가능하고 시간 불변 잠재 동역학 모델을 비선형 시스템과 연속 행동 공간에 대해 개발한다.
• 코프만 기반 모델링에서 수동 사전 설계의 한계를 극복하기 위해 특징 표현을 위한 딥 신경망으로 대체한다.
• 내부 상태 측정이 필요 없이 원시 픽셀에서 예측 가능한 선형 동역학을 학습함으로써 엔드 투 엔드 제어를 가능하게 한다.
• 다단계 선형성과 재구성 오차를 감소시키는 보조 손실 항목을 통해 예측 정확도와 안정성을 향상시킨다.

제안 방법

• CKNet은 인코더가 코프만 고유기능을 근사하고 디코더가 잠재 표현에서 상태를 재구성하는 딥 오토인코더 프레임워크를 사용한다.
• 상태 전이 행렬과 제어 행렬은 학습 가능한 텐서로 설정되어 잠재 공간에서 시간 불변 동역학을 보장한다.
• 두 가지 변형이 제안된다: DCKNet(결정적)과 VCKNet(변분), 모두 코프만 연산자 이론의 제약 조건을 통해 선형적이고 해석 가능한 동역학을 보장한다.
• 모델은 다단계 예측 손실과 장기 예측에서 선형성 및 재구성 오차를 감소시키기 위한 보조 가중치 항목을 포함하여 훈련된다.
• 코프만 고유값은 학습된 상태 전이 행렬의 고유값에서 근사되며, 이는 잠재 동역학의 스펙트럼 분석을 가능하게 한다.
• 이 방법은 오프라인 및 온라인 훈련 설정 모두에서 Gym과 MuJoCo 환경의 연속 제어 작업에 적용된다.

실험 결과

연구 질문

• RQ1 딥 신경망은 원시 픽셀 관측에서 비선형 동역학을 모델링하기 위해 코프만 고유기능과 고유모드를 효과적으로 학습할 수 있는가?
• RQ2 DCKNet과 VCKNet의 결정적 및 변분 변형은 일관된 잠재 동역학과 고유기능 진동을 얼마나 잘 학습하는가?
• RQ3 CKNet은 발산 없이 장기 예측에서 잠재 상태와 이미지를 얼마나 오랫동안 재구성할 수 있는가?
• RQ4 보조 손실 항목은 학습된 동역학에서 다단계 예측 정확도와 선형성 오차를 어떻게 향상시키는가?
• RQ5 다른 훈련 파라다임(오프라인 대비 온라인)은 식별된 코프만 기반 모델의 해석 가능성과 안정성에 영향을 미치는가?

주요 결과

• CKNet은 원시 픽셀에서 선형적이고 해석 가능한 잠재 동역학을 성공적으로 학습하였으며, DCKNet과 VCKNet 모두 다양한 작업에서 유사한 형태의 코프만 고유기능 진동 패턴을 생성하였다.
• 오프라인 훈련 작업에서는 안정적인 장기 예측을 통해 잠재 상태를 예측하고 명확하고 정확한 이미지 재구성을 생성하였다.
• 온라인 훈련된 MuJoCo 작업에서는 Cheetah-run과 CartPole-balance에서 우수한 성능을 보였으며, 잠재 상태 예측에서 낮은 평균 절대 오차(MAE)를 기록하였다. 그러나 빠르게 움직이는 또는 작은 물체의 경우 성능이 저하되었다.
• 보조 손실 항목은 다단계 선형성 오차와 예측 오차를 크게 감소시켜 장기 예측 안정성을 향상시켰다.
• 시각화 결과는 더 작은 고유값에 해당하는 고유기능이 진동 중에 덜 변동함을 확인하였으며, 이는 안정적인 스펙트럼 행동을 의미한다.
• DCKNet과 VCKNet 간에 상태 전이 동역학과 VCKNet의 샘플링 기반 추론의 차이가 있음에도 불구하고, 잠재 상태와 코프만 고유기능의 진화 과정은 일관된 경향을 보였다.