[논문 리뷰] Hybrid Physics and Deep Learning Model for Interpretable Vehicle State Prediction

Alexandra Baier, Zeyd Boukhers외 1명|arXiv (Cornell University)|2021. 03. 11.

Aerodynamics and Fluid Dynamics Research인용 수 6

한 줄 요약

이 논문은 고정밀도 및 해석 가능성을 확보하기 위해 두 단계 학습 절차를 사용하는 하이브리드 물리학 및 딥러닝 모델을 제안한다. 장기적 단기 기억(LSTM) 네트워크의 출력을 알려진 범위로 제약함으로써, 신경망의 불확실성이 제한되며, 성능을 희생시키지 않은 채 인증 가능 예측이 가능해진다. 이는 환경적 요란성 존재 하에서 선박 및 큐브코pter 운동 데이터셋을 통해 검증되었다.

ABSTRACT

Physical motion models offer interpretable predictions for the motion of vehicles. However, some model parameters, such as those related to aero- and hydrodynamics, are expensive to measure and are often only roughly approximated reducing prediction accuracy. Recurrent neural networks achieve high prediction accuracy at low cost, as they can use cheap measurements collected during routine operation of the vehicle, but their results are hard to interpret. To precisely predict vehicle states without expensive measurements of physical parameters, we propose a hybrid approach combining deep learning and physical motion models including a novel two-phase training procedure. We achieve interpretability by restricting the output range of the deep neural network as part of the hybrid model, which limits the uncertainty introduced by the neural network to a known quantity. We have evaluated our approach for the use case of ship and quadcopter motion. The results show that our hybrid model can improve model interpretability with no decrease in accuracy compared to existing deep learning approaches.

연구 동기 및 목표

• 자율 시스템의 차량 상태 예측에서 해석 가능성과 정확성의 균형을 맞추는 데 도전한다.
• 정확하거나 측정 불가능한 매개변수로 인해 문제가 되는 순수 물리 모델의 한계와, 해석 불가능성을 가진 순수 딥러닝 모델의 한계를 극복한다.
• 물리 운동 모델과 LSTM을 조합한 하이브리드 아키텍처를 개발하면서 출력 범위 제약을 통해 해석 가능성을 유지한다.
• 비선형 또는 정확하지 않은 물리 모델을 사용할 때도 안정적인 학습을 가능하게 하는 혁신적인 두 단계 학습 절차를 통해 하이브리드 모델의 학습 안정성을 확보한다.
• 선박 및 큐브코프터 운동과 같은 환경적 요란성 존재 하에서 실제 조건에서의 모델 평가를 수행한다.

제안 방법

• 잔차 하이브리드 아키텍처를 사용하며, LSTM이 물리 모델의 잔차 오차를 예측함으로써 물리 기반 역학과 데이터 기반 보정을 결합한다.
• 두 단계 학습 절차를 도입한다: 첫 번째로 물리 모델을 데이터 기반으로 학습하고, 두 번째로 LSTM을 잔차 오차 기반으로 학습함으로써 다단계 예측 중 누적 오차를 방지한다.
• 해석 가능성을 확보하기 위해 LSTM 출력을 상대 임계값(예: 약 8%)으로 제약함으로써 신경망 기여도를 알려진 불확실성 범위 내로 제한한다.
• 기본 원리 및 회귀 기반 수식을 통해 비선형 및 불완전한 모델(예: 부족한 항공역학 매개변수 포함)을 포함한 다양한 물리 모델을 지원한다.
• 시간적 모델링을 위해 장기적 단기 기억(LSTM) 네트워크를 사용하고, 물리적 상태 방정식과 통합하여 역학 일관성을 확보한다.
• 실제 선박 및 큐브코프터 데이터셋을 사용하여 1초 예측 화이트(100단계) 동안 상태 및 궤적 예측 지표를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 물리학과 딥러닝을 융합한 하이브리드 모델이 안전 중심의 차량 제어를 위해 높은 예측 정확도를 확보하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 딥 뉴럴 네트워크가 유도하는 불확실성을 어떻게 제한할 수 있는가? 이는 인증 및 안전 검증을 지원할 수 있는가?
• RQ3 비선형 또는 정확하지 않은 물리 모델을 사용할 경우, 두 단계 학습 절차가 하이브리드 모델의 학습을 안정화시킬 수 있는가?
• RQ4 바람이나 파도와 같은 환경적 요란성 존재 하에서도 하이브리드 모델이 순수 데이터 기반 또는 순수 물리 모델 대비 성능을 유지할 수 있는가?
• RQ5 다양한 동역학 및 제어 입력을 가진 선박 및 큐브코프터와 같은 다양한 차량 유형 간에 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 하이브리드 모델은 제약이 없는 딥러닝 모델과 비교해 유사한 예측 정확도를 확보하며, 최고 성능를 보인 변종(MinQ+Qua-2P)은 큐브코프터 데이터셋에서 약 8% 상대 임계값에서 LSTM 성능을 정확히 재현한다.
• 환경적 요란성이 존재하는 선박 운동에 대해 하이브리드 모델은 순수 물리 모델(Qual)보다 뚜렷이 뛰어난 성능을 보이며, 순수 딥러닝 기반 모델과 비교해도 성능을 유지하거나 초월한다.
• 두 단계 학습 절차는 비선형 또는 불완전한 물리 모델을 사용할 경우에도 하이브리드 모델의 학습 발산을 성공적으로 방지하여 장기 예측 화이트에서 안정적인 학습을 가능하게 한다.
• 출력 제약 메커니즘은 DNN의 기여도를 알려진 불확실성 범위(~8% 임계값)로 제한함으로써 정확도를 희생시키지 않은 채 해석 가능성을 보장한다.
• 모델은 차량 유형 간에 잘 일반화된다: 낮은 요란성의 큐브코프터 운동과 높은 요란성의 선박 운동 모두에서 뛰어난 성능를 보이며, 강건성을 입증한다.
• 최소한의 물리 모델(MinQ)과 이차 회귀(Qua)를 결합한 하이브리드 모델이 정확도와 해석 가능성의 최적 균형을 이룬다. 이는 복잡한 동역학에서 선형 물리 모델보다 뛰어난 성능를 보인다.