[논문 리뷰] Continuous-time identification of dynamic state-space models by deep subspace encoding

Gerben I. Beintema, Maarten Schoukens외 1명|arXiv (Cornell University)|2022. 04. 20.

Fault Detection and Control Systems인용 수 6

한 줄 요약

이 논문은 측정 노이즈, 잠재 상태, 외부 입력, 비균일 샘플링 등의 현실 조건 하에서 연속시간 비선형 상태공간(NL-SS) 모델 식별에 도전하는 데 목적이 있는 SUBNET을 제안한다. 이 방법은 짧은 데이터 서브세그먼트, 초기 상태 추정을 위한 인코더 네트워크, 상태 도함수 정규화를 활용하여 샘플 효율성과 견고성을 향상시킨다. SUBNET은 CCT, CED, EMPS와 같은 벤치마크에서 단순한 완전 연결 네트워크를 사용하여 최신 기술 수준의 성능을 달성하며, 노이즈, 잠재 상태, 외부 입력이 존재하는 상황에서도 최적화 안정성과 정확한 장기 예측이 가능하다.

ABSTRACT

Continuous-time (CT) modeling has proven to provide improved sample efficiency and interpretability in learning the dynamical behavior of physical systems compared to discrete-time (DT) models. However, even with numerous recent developments, the CT nonlinear state-space (NL-SS) model identification problem remains to be solved in full, considering common experimental aspects such as the presence of external inputs, measurement noise, latent states, and general robustness. This paper presents a novel estimation method that addresses all these aspects and that can obtain state-of-the-art results on multiple benchmarks with compact fully connected neural networks capturing the CT dynamics. The proposed estimation method called the subspace encoder approach (SUBNET) ascertains these results by efficiently approximating the complete simulation loss by evaluating short simulations on subsections of the data, by using an encoder function to estimate the initial state for each subsection and a novel state-derivative normalization to ensure stability and good numerical conditioning of the training process. We prove that the use of subsections increases cost function smoothness together with the necessary requirements for the existence of the encoder function and we show that the proposed state-derivative normalization is essential for reliable estimation of CT NL-SS models.

연구 동기 및 목표

• 측정 노이즈, 잠재 상태, 외부 입력, 비균일 샘플링 등의 현실 조건 하에서 연속시간(CT) 비선형 상태공간(NL-SS) 모델 식별의 과제를 해결하기 위해.
• 전체 시퀀스 학습을 짧은 서브세그먼트로 줄이고, 학습된 초기 상태 추정을 통해 CT 모델 학습의 계산 효율성과 최적화 안정성을 향상시키기 위해.
• 서브세그먼트와 정규화의 사용에 대한 이론적 기초를 확립하여, 부드러운 손실 함수와 안정적인 훈련을 보장하기 위해.
• 물리 기반의 아키텍처 제약 조건 없이도 실제 벤치마크(CCT, CED, EMPS)에서 최신 기술 수준의 성능을 달성하기 위해.
• 적절한 정규화와 인코딩을 갖춘 단순한 완전 연결 신경망이 연속시간 신경 ODE에서 더 복잡하고 구조화된 모델보다도 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 전체 데이터셋의 짧고 겹치지 않는 서브세그먼트를 사용하여 계산 비용을 감소시키고 최적화 안정성을 향상시킨다.
• 각 서브세그먼트의 초기 잠재 상태를 추정하기 위해 인코더 네트워크를 활용하여 국소적 시뮬레이션과 훈련을 가능하게 한다.
• 상태와 상태 도함수의 스케일을 균형 잡기 위해 상태 도함수 정규화 항 $ \dot{x} = \frac{1}{\tau} f_\theta(x,u) $ 를 도입하여 수치 조건과 훈련 안정성을 향상시킨다.
• 손실 함수는 이러한 서브세그먼트를 기반으로 계산되며, 서브세그먼트 전략 하에서 리프시츠 연속성 분석을 통해 부드러움이 이론적으로 증명된다.
• 시스템 동역학과 데이터에 특정한 정규성 조건이 만족될 경우, 인코더 함수의 존재가 필수적임을 입증한다.
• 해밀토니안 또는 심플렉틱 유도적 편향 등의 구조적 사전 지식을 피함으로써 다양한 시스템에 일반적으로 적용 가능한 방법을 확보한다.

실험 결과

연구 질문

• RQ1 측정 노이즈, 잠재 상태, 외부 입력이 존재하는 상황에서 연속시간 비선형 상태공간 모델을 효율적이고 견고하게 식별하는 방법은 무엇인가?
• RQ2 짧은 데이터 서브세그먼트를 사용할 경우, CT 모델 학습에서 손실 함수의 부드러움과 최적화 안정성에 미치는 이론적 영향은 무엇인가?
• RQ3 서브세그먼트 기반 훈련에서 초기 상태를 신뢰성 있게 추정할 수 있는 인코더 함수의 존재를 위한 필수 조건는 무엇인가?
• RQ4 왜 상태 도함수 정규화가 연속시간 신경 ODE에서 안정적이고 정확한 추정을 위해 필수적인가?
• RQ5 구조적 사전 지식이 없는 단순한 완전 연결 네트워크가 연속시간 시스템 식별에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SUBNET은 CCT 벤치마크에서 최신 기술 수준의 RMSE(0.022)와 CED 벤치마크에서 RMSE(0.018)를 기록하며, 기존의 신경 ODE 및 dynoNET와 비교해도 슈퍼리어한 성능을 보였다.
• EMPS 벤치마크에서 SUBNET은 24,841개의 샘플을 포함한 테스트 세트에서 RMSE 0.034를 기록하여 장기 예측 정확도가 뛰어나다는 것을 입증했다. 이는 오직 T=200 길이의 서브시퀀스만을 사용한 결과이다.
• 실험 결과, $ \Delta t / \tau \approx 1 $ 으로 설정할 경우 $ \text{RMS}(x) \approx \text{RMS}(f) \approx 1 $ 이 되며, 이는 최저 RMSE와 상관관계가 있음을 확인하여 이론적 정규화 요구 조건을 검증했다.
• 부적절한 정규화(예: $ \tau = 1 $)는 성능을 심각하게 악화시키며, CCT과 CED에서 각각 RMSE가 2.0과 0.3으로 상승함으로써 정규화 항이 반드시 필요함을 확인했다.
• 모델당 15분 이내의 훈련 시간으로 소비자용 랩탑에서도 높은 정확도를 달성했으며, 이는 신경 ODE(2시간)보다 훨씬 빠르고, 더 복잡한 EMPS 데이터셋의 경우에도 10시간이 소요되는 기존 방법보다 빠른 성능을 보였다.
• 서브세그먼트의 사용은 리프시츠 연속성 분석을 통해 부드러운 손실 함수를 증명하였으며, 이는 최적화 안정성과 수렴성을 향상시킨다.