[논문 리뷰] Real-Time Model Calibration with Deep Reinforcement Learning

Yuan Tian, Manuel Arias Chao외 3명|arXiv (Cornell University)|2020. 06. 07.

Fault Detection and Control Systems참고 문헌 48인용 수 12

한 줄 요약

이 논문은 노이즈가 있는 관측 데이터로부터 물리기반 모델 파라미터를 실시간으로, 강건하고 정확하게 校정하기 위해, 제약 조건이 부여된 라플라스 기반 액터-크리틱(Constrained Lyapunov-based Actor-Critic, CLAC) 알고리즘을 포함한 딥 강화학습 프레임워크를 제안한다. 모델 校정을 추적 문제로 재정의함으로써, 기존의 유스케이드 칼만 필터(UKF)나 엔드 투 엔드 딥 러닝과 같은 방법들보다 뛰어난 속도와 안정성을 확보하였으며, 노이즈가 많은 데이터셋에서 추론 정확도가 4배 향상되었다.

ABSTRACT

The dynamic, real-time, and accurate inference of model parameters from empirical data is of great importance in many scientific and engineering disciplines that use computational models (such as a digital twin) for the analysis and prediction of complex physical processes. However, fast and accurate inference for processes with large and high dimensional datasets cannot easily be achieved with state-of-the-art methods under noisy real-world conditions. The primary reason is that the inference of model parameters with traditional techniques based on optimisation or sampling often suffers from computational and statistical challenges, resulting in a trade-off between accuracy and deployment time. In this paper, we propose a novel framework for inference of model parameters based on reinforcement learning. The contribution of the paper is twofold: 1) We reformulate the inference problem as a tracking problem with the objective of learning a policy that forces the response of the physics-based model to follow the observations; 2) We propose the constrained Lyapunov-based actor-critic (CLAC) algorithm to enable the robust and accurate inference of physics-based model parameters in real time under noisy real-world conditions. The proposed methodology is demonstrated and evaluated on two model-based diagnostics test cases utilizing two different physics-based models of turbofan engines. The performance of the methodology is compared to that of two alternative approaches: a state update method (unscented Kalman filter) and a supervised end-to-end mapping with deep neural networks. The experimental results demonstrate that the proposed methodology outperforms all other tested methods in terms of speed and robustness, with high inference accuracy.

연구 동기 및 목표

• 노이즈가 많고 고차원적이며 동적인 조건에서 실시간으로 정확하고 강건한 물리기반 모델 파라미터 추론 문제를 해결하기 위해.
• 실제 응용에서 전통적인 최적화 및 샘플링 기반 추론 방법의 계산 및 통계적 한계를 극복하기 위해.
• 학습에 진정한 校정 파라미터가 필요하지 않은 확장 가능한, 시뮬레이션으로 훈련된 프레임워크를 개발하기 위해.
• 학습된 정책을 통해 관측된 시스템 행동을 정확히 추적하여 항공기 엔진과 같은 안전이 중요한 시스템에서 실시간 진단을 가능하게 하기 위해.
• 명시적인 역문제 해결 없이도 딥 강화학습을 통해 동시에 시스템 물리학과 추론 메커니즘을 학습할 수 있는가를 입증하기 위해.

제안 방법

• 정책이 모델 출력을 관측 데이터와 일치하도록 하는 강화학습 추적 문제로 모델 校정을 재정의한다.
• 노이즈가 있는 관측치에서 학습을 안정화하고 정책 수렴을 보장하기 위해 제약 조건이 부여된 라플라스 기반 액터-크리틱(CLAC) 알고리즘을 도입한다.
• 심층 신경망 정책을 사용하여 모델 상태와 관측치를 파라미터 업데이트로 매핑하며, 최대 엔트로피 기반 강화학습을 통해 훈련한다.
• 특히 모델 불확실성과 노이즈 상황에서 안정성을 강화하고 정책의 분산을 감소시키기 위해 라플라스 기반 제약 조건을 통합한다.
• 진정한 校정 파라미터가 필요 없이 물리기반 모델과 관측 데이터만을 사용하여 시뮬레이션 환경에서 전체 프레임워크를 훈련한다.
• 기본 물리기반 시뮬레이션의 정밀도를 유지하면서 추론 속도를 향상시키기 위해 서브스티튜트 DNN 모델을 활용한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 고차원적인 조건에서 실시간으로 강화학습이 물리기반 모델을 효과적으로 校정하는 데 사용될 수 있는가?
• RQ2 관측 오차 및 모델 노이즈가 존재할 때 CLAC 알고리즘이 표준 액터-크리틱 방법에 비해 얼마나 더 강건하고 안정적인가?
• RQ3 진정한 校정 파라미터에 접근할 수 없는 상황에서 딥 강화학습 정책이 새로운 열화 경로에 얼마나 잘 일반화되는가?
• RQ4 유스케이드 칼만 필터(UKF)나 엔드 투 엔드 딥 러닝과 같은 기존 기법들과 비교해 본다면, 제안된 방법의 정확도와 속도는 어떠한가?
• RQ5 단일 강화학습 프레임워크가 동시에 시스템의 물리학과 파라미터 校정을 위한 추론 메커니즘을 학습할 수 있는가?

주요 결과

• CLAC 알고리즘은 LAC 기준선 대비 추론 정확도에서 4배 향상되어, 데이터셋 #1에서 RMSE를 1.3e-3에서 3.3e-4로 감소시켰다.
• 데이터셋 #1에서 CLAC는 RMSE 0.98을 기록하여, 약간의 높은 오차에도 불구하고 더 뛰어난 일반화성과 안정성 덕분에 UKF(RMSE 0.62)를 능가하는 강건성을 보였다.
• 데이터셋 #2에서 CLAC는 RMSE 5.54를 기록하여, DNN 모델이 노이즈가 많고 정확도가 떨어지는 더 복잡하고 다양한 비행 조건에서도 뛰어난 성능을 보였다.
• 특히 노이즈가 많고 변동성이 큰 상황에서 CLAC 정책는 LAC 정책보다 분산이 현저히 줄어들었고, 진정한 행동과의 일치도 더 높았다.
• 이 프레임워크는 역문제를 해결하거나 진정한 校정 파라미터가 필요 없이, 오직 모델과 관측 데이터에 의존하여 실시간 校정을 가능하게 한다.
• 이 방법은 새로운 열화 경로로의 일반화가 잘 되어 있어, 실제 응용 시나리오에서 강력한 전이 가능성과 강건성을 보여준다.