[논문 리뷰] Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion

Lucas Böttcher|arXiv (Cornell University)|2023. 07. 15.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 시스템 식별 및 최적 제어를 위해 신경미분방정식(neural ODEs)을 훈련시키는 데 앙상블 칼만 역행(ensemble Kalman inversion, EKI)을 사용하는 것을 제안한다. EKI는 경사하강법 기반 최적화 방법과 유사한 성능을 보이며, 훈련 시간을 최대 95% 감소시키면서도 제어 과제에서 더 낮은 평균제곱오차(MSE)를 기록하여, 경사 기반 방법의 효과적이고 효율적인 대안으로서의 잠재력을 입증한다.

ABSTRACT

Ensemble Kalman inversion (EKI) is a sequential Monte Carlo method used to solve inverse problems within a Bayesian framework. Unlike backpropagation, EKI is a gradient-free optimization method that only necessitates the evaluation of artificial neural networks in forward passes. In this study, we examine the effectiveness of EKI in training neural ordinary differential equations (neural ODEs) for system identification and control tasks. To apply EKI to optimal control problems, we formulate inverse problems that incorporate a Tikhonov-type regularization term. Our numerical results demonstrate that EKI is an efficient method for training neural ODEs in system identification and optimal control problems, with runtime and quality of solutions that are competitive with commonly used gradient-based optimizers.

연구 동기 및 목표

• 신경미분방정식을 훈련시키는 데 있어 배경전파(backpropagation)의 경사 없는 대안으로 앙상블 칼만 역행(EKI)의 효과성을 조사하기 위해.
• 최적 제어 문제를 Tikhonov 유형 정규화를 갖는 역문제로 재구성하여 EKI 기반 해법을 가능하게 하기 위해.
• 수렴 속도와 해의 품질 측면에서 기존의 경사 기반 최적화기들인 Adam과 SGD와의 비교를 통해 EKI의 성능을 평가하기 위해.
• 제어 에너지 정규화를 효과적으로 처리하면서도 높은 정확도를 유지할 수 있음을 보여주기 위해.

제안 방법

• 신경미분방정식의 매개변수 $ \theta $와 관측 데이터 $ y $를 갖는 형태 $ y = G(\theta) + \xi $로 시스템 식별 및 최적 제어 문제를 역문제로 재구성하기 위해.
• 신경미분방정식의 정방향 평가를 통해 배경전파를 피하는 연속시간 앙상블 칼만 역행(EKI)을 적용하여 매개변수 집합 $ \{\theta^{(j)}\} $의 앙상블을 반복적으로 갱신하기 위해.
• 최적 제어 과제에서 높은 제어 에너지를 방지하기 위해 손실 함수에 Tikhonov 유형 정규화 항을 통합하기 위해.
• 정규화 항을 고려한 EKI 갱신 방정식을 유도하여, 경사 없이 최적 제어 문제를 해결할 수 있도록 하기 위해.
• Schillings & Stuart (2017)가 유도한 EKI의 연속시간 근사 모델을 활용하여 앙상블의 진화를 기술하고, 공분산 및 교차공분산 추정치를 기반으로 갱신을 수행하기 위해.
• 기본 시스템 식별 및 제어 과제에서 BPTT 기반 최적화(Adam 및 SGD 사용)와의 성능 비교를 위해 EKI를 구현하고 비교하기 위해.

실험 결과

연구 질문

• RQ1 EKI는 경사 계산이 필요 없이 시스템 식별 과제에서 신경미분방정식을 효과적으로 훈련시킬 수 있는가?
• RQ2 시스템 식별 과제에서 EKI의 수렴 속도와 해의 정확도 측면에서 Adam 및 SGD와의 성능 비교는 어떻게 되는가?
• RQ3 EKI는 경사 없는 접근 방식을 통해 제어 에너지 정규화를 갖는 최적 제어 문제를 해결할 수 있는가?
• RQ4 정규화 파라미터 $ \mu $ 는 EKI 기반 최적 제어에서 학습된 제어 및 상태 궤적에 어떤 영향을 미치는가?
• RQ5 BPTT 기반 방법과 비교해 EKI는 제어 함수 근사에서 더 낮은 평균제곱오차(MSE)를 달성하는가?

주요 결과

• EKI는 최적 제어 과제에서 평균제곱오차(MSE) 0.4–0.6 × 10⁻³을 기록하였으며, 이는 BPTT 기반 Adam 최적화가 달성한 1–1.4 × 10⁻³ MSE보다 약 50% 낮은 수준이다.
• EKI는 단지 4–5개의 최적화 에포크 내에 안정된 해에 수렴한 반면, BPTT 기반 Adam은 안정화되기까지 약 90–100개의 에포크가 소요되었다.
• EKI 기반 방법은 약 1초당 1회의 최적화 단계를 기록한 반면, Adam은 1초당 10회의 단계를 기록하여, 적은 반복 수에도 불구하고 벽시계 시간 측면에서 상당한 감소를 보였다.
• 시각적 비교를 통해 EKI로 학습된 제어 함수와 시스템 상태 궤적은 그림 3에서 참값과 유사하게 근사되었으며, 최적 해에 매우 가까운 결과를 보였다.
• 정규화 파라미터 $ \mu $ 는 학습된 제어 신호에 상당한 영향을 미쳤으며, 낮은 값은 더 공격적인 제어 행동을, 높은 값은 더 부드럽고 에너지가 낮은 제어를 유도하였다.
• EKI는 선형 및 비선형 시스템 식별 과제 모두에서 일관된 성능을 보이며, 역학적 복잡성에 대해 강건함을 입증하였다.