[논문 리뷰] Recognition Models to Learn Dynamics from Partial Observations with Neural ODEs

Mona Buisson-Fenet, Valéry Morgenthaler외 2명|arXiv (Cornell University)|2022. 05. 25.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 비선형 관측기 이론—특히 카잔차스키스-크라바리스/루엔버거(KKL) 관측기—기반의 인식 모델 프레임워크를 제안하여 부분 관측에서 신경형 상미분방정식(NODEs)이 물리적으로 해석 가능한 동역학을 학습할 수 있도록 한다. 불완전한 측정치를 잠재 상태로 매핑함으로써 일반화 능력과 물리적 일관성을 향상시키며, 기준 인식 모델 대비 일반화 오차가 감소한 로봇 외골격 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Identifying dynamical systems from experimental data is a notably difficult task. Prior knowledge generally helps, but the extent of this knowledge varies with the application, and customized models are often needed. Neural ordinary differential equations can be written as a flexible framework for system identification and can incorporate a broad spectrum of physical insight, giving physical interpretability to the resulting latent space. In the case of partial observations, however, the data points cannot directly be mapped to the latent state of the ODE. Hence, we propose to design recognition models, in particular inspired by nonlinear observer theory, to link the partial observations to the latent state. We demonstrate the performance of the proposed approach on numerical simulations and on an experimental dataset from a robotic exoskeleton.

연구 동기 및 목표

• 측정되지 않은 모든 시스템 상태가 존재하는 부분 관측에서 동역학 시스템을 학습하는 데 도전하는 것.
• 신경 ODE에 물리적 사전 지식을 통합하여 모델의 해석 가능성과 일반화 능력을 향상시키는 것.
• 비선형 관측기 이론을 활용해 부분 관측치를 잠재 상태로 매핑하는 인식 모델을 개발하는 것.
• 제안된 프레임워크를 시뮬레이션 및 실제 로봇 외골격 데이터에 대해 평가하는 것.

제안 방법

• 물리적 사전 지식을 통합한 구조적 신경 ODE를 제안하여, 예를 들어 운동학적 관계(예: ẋ₁ = x₂)를 포함해 물리적 해석 가능성을 보장한다.
• 카잔차스키스-크라바리스/루엔버거(KKL) 관측기에서 영감을 얻은 인식 모델을 설계해 부분 관측치로부터 잠재 상태를 추정한다.
• 비교를 위해 피드포워드 및 RNN 기반 인식 네트워크를 기준 모델로 사용한다.
• Adam 옵timizer를 사용해 엔드 투 엔드 시스템을 훈련시키며, 수치적 안정성을 확보하기 위해 입력 및 출력의 정규화를 통합한다.
• 구조적 사전 지식(역동학 형태 강제)과 정규화 사전 지식(선형 모델의 잔차 학습)을 동시에 적용해 안정성 평가를 수행한다.
• 학습된 모델을 사용해 확장된 칼만 필터(EKF)를 적용하여 상태 추정 성능을 검증한다.

실험 결과

연구 질문

• RQ1 KKL 기반 인식 모델은 복잡한 동역학 시스템에서 부분 관측치로부터 잠재 상태를 효과적으로 재구성할 수 있는가?
• RQ2 신경 ODE에 물리적 사전 지식을 통합하면 모델의 일반화 능력과 해석 가능성은 어떻게 향상되는가?
• RQ3 직접 모델, RNN+, KKL 등 다양한 인식 모델 아키텍처는 훈련 안정성, 파라미터 효율성, 테스트 성능 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법은 훈련 범위를 초월해 새로운 입력 주파수에 대해 얼마나 잘 일반화되는가?
• RQ5 학습된 모델은 실제 로봇 외골격 동역학 예측에서 기준 선형 사전 지식 모델을 능가할 수 있는가?

주요 결과

• KKL 기반 인식 모델은 파라미터 수가 적음에도 불구하고 장거리 테스트 트랙(2초)에서 기준 모델인 직접 모델 및 RNN+ 모델 대비 가장 낮은 일반화 오차를 기록했다.
• 훈련 주파수 범위 내에서 짧은 테스트 트랙(0.2초)에서 구조적 사전 지식(ẋ₁ = x₂, ẋ₃ = x₄)을 적용한 모델은 RMSE 0.18을 기록했으며, 이는 사전 지식 모델(RMSE = 5.6)에 비해 뚜렷한 성능 향상을 보였다.
• 잔차 모델 설정(선형 사전 지식에 대한 학습된 보정)은 더 높은 오차(RMSE = 0.31)를 보였으며, 이는 사전 지식 모델의 부정확성이 성능을 제한했음을 시사한다.
• 직접 모델 및 RNN+ 인식 모델은 훈련이 더 쉬웠지만 일반화 오차가 더 높고 파라미터 수가 많아, 훈련 용이성과 안정성 사이의 상충 관계가 있음을 시사한다.
• 학습된 모델을 사용한 EKF는 안정적인 상태 추정 성능을 보였으며, 이는 모델이 피드백 제어 응용에 적합함을 확인한다.
• 관측된 입력 및 출력의 통계를 기반으로 한 정규화가 잠재 상태 범위가 알려지지 않은 상황에서도 수치적 안정성을 유지하는 데 기여했다.