[논문 리뷰] Multi-Objective Physics-Guided Recurrent Neural Networks for Identifying Non-Autonomous Dynamical Systems

Oliver Schön, Ricarda‐Samantha Götte외 1명|arXiv (Cornell University)|2022. 04. 27.

Model Reduction and Neural Networks참고 문헌 19인용 수 9

한 줄 요약

이 논문은 제어 하에서 비자율 동역학계를 식별하기 위해 물리기반 미분방정식 모델과 순환신경망(RNN)을 융합한 다목적 물리지향 순환신경망(MOPGRNN)을 제안한다. 다목적 최적화를 통해 에너지 균형과 같은 물리적 타당성을 강제함으로써, 순수 데이터 기반 모델보다 훨씬 높은 정확도를 달성하며, 실제 골프 로봇 데이터에서 원래의 물리 모델보다 최대 46% 높은 성능을 보였다.

ABSTRACT

While trade-offs between modeling effort and model accuracy remain a major concern with system identification, resorting to data-driven methods often leads to a complete disregard for physical plausibility. To address this issue, we propose a physics-guided hybrid approach for modeling non-autonomous systems under control. Starting from a traditional physics-based model, this is extended by a recurrent neural network and trained using a sophisticated multi-objective strategy yielding physically plausible models. While purely data-driven methods fail to produce satisfying results, experiments conducted on real data reveal substantial accuracy improvements by our approach compared to a physics-based model.

연구 동기 및 목표

• 비자율 동역학계의 시스템 식별에서 모델링 노력과 정확도 사이의 상충 관계를 해결한다.
• 순수 데이터 기반 모델의 한계를 극복한다. 이러한 모델은 종종 물리적 타당성이 없으며, 안전이 중요한 응용 분야에서 실패할 수 있다.
• 물리기반 제약 조건을 데이터 기반 프레임워크에 통합하여 학습된 모델의 물리적 타당성과 일반화 능력을 보장한다.
• 신경망의 유연성과 물리 지식을 융합하여, 특히 훈련 데이터가 제한된 경우 모델의 정확도와 강건성을 향상시킨다.
• 훈련, 검증, 테스트 목표를 구분하는 훈련 전략을 개발하며, 이는 미분 가능하고 비가역적인 손실 함수를 포함한다.

제안 방법

• 물리기반 ODE 모델과 순환신경망(RNN)을 융합하여 상태 동역학과 출력을 모델링하는 물리지향 순환신경망(PGRNN)을 구축한다.
• 예측 오차를 최소화하고 물리적 제약 조건(예: 에너지 균형)을 강제하는 다목적 최적화 문제를 설정한다.
• 시스템의 에너지 역학을 기반으로 한 제약 조건을 정의한다: ∆EM,t = J¨ˆϕt ˙ˆϕt + mga ˙ˆϕt sin ˆϕt + d ˙ˆϕ2t + MF,t ˙ˆϕt −4 ˙ˆϕtut, 이는 모델이 만족해야 한다.
• 예측 정확도를 위한 회귀 손실과 물리적 타당성 위반 정도를 위한 제약 위반 손실을 포함하는 하이브리드 손실 함수를 사용한다.
• 실제 데이터에서 직접 측정된 각도 측정치로부터 측정되지 않은 상태 도함수(예: 각속도 및 각가속도)를 수치 미분을 통해 추정한다.
• 훈련, 검증, 테스트를 위한 별도의 목적 함수를 사용하여 MOPGRNN을 훈련함으로써 강건한 일반화와 개선된 조건화를 달성한다.

실험 결과

연구 질문

• RQ1 물리기반 ODE와 RNN을 융합한 하이브리드 모델이 순수 데이터 기반 모델에 비해 비자율 동역학계의 시스템 식별 정확도를 향상시킬 수 있는가?
• RQ2 에너지 균형과 같은 물리적 제약 조건을 강제할 경우, 학습된 모델의 타당성과 강건성은 얼마나 향상되는가?
• RQ3 비선형 동역학(예: 마찰)이 존재할 경우, 특히 훈련 데이터가 제한된 상황에서 MOPGRNN의 성능은 어떠한가?
• RQ4 다목적 훈련 전략이 실세계 제어 시스템에서 예측 정확도와 물리적 일관성 사이를 효과적으로 균형 잡을 수 있는가?
• RQ5 물리지향 제약 조건을 통합함으로써 과적합 위험은 감소하고 실제 데이터 환경에서의 일반화 능력은 향상되는가?

주요 결과

• MOPGRNN은 골프 로봇 시스템에서 훈련 데이터가 제한된 상황에서도 순수 데이터 기반 RNN보다 최대 46% 높은 시뮬레이션 오차 감소율을 달성했다.
• 단지 15개의 훈련 샘플만으로도 MOPGRNN은 시뮬레이션 오차 0.15 s(평균 ± 2σ)를 기록했으며, 이는 물리 모델(0.35 s)과 RNN(0.35 s)보다 훨씬 낮은 수준이었다.
• 사인파 자극 데이터를 포함시킴으로써 RNN과 MOPGRNN 간의 성능 격차가 더욱 커졌으며, MOPGRNN은 물리 모델 대비 59% 향상된 성능을 유지했다.
• 장기 예측 수평선 동안 MOPGRNN은 낮은 제약 위반(절대 ∆ ≤ 0.1 J)을 보였으며, 강력한 물리적 타당성을 나타냈다.
• 훈련 데이터가 증가함에 따라 MOPGRNN은 물리 모델(Mphy) 대비 38%의 시뮬레이션 오차 감소를 달성했으며, 낮은 표준편차를 유지했다.
• 최소한의 훈련 데이터 조건에서도 MOPGRNN은 성능 저하가 심각하게 발생하지 않아, 높은 데이터 효율성과 강건성을 입증했다.