[논문 리뷰] Solving PDEs with Unmeasurable Source Terms Using Coupled Physics-Informed Neural Network with Recurrent Prediction for Soft Sensors

Aina Wang, Pan Qin외 1명|arXiv (Cornell University)|2023. 01. 20.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 비측정 가능한 소스 항을 가진 비동차 편미분방정식(PDE)을 해결하기 위해 소프트 센서를 위한 연합 물리 기반 신경망(CPINN-RP)을 제안한다. 데이터-물리-하이브리드 손실을 통해 NetU(해의 근사)와 NetG(학습 정규화)를 통합하고 계층적 학습 전략을 적용함으로써 CPINN-RP는 정확한 시공간 예측을 달성하였으며, 합성 데이터에서는 98.8%의 상관계수(CC)와 6.8% 이하의 RMSE를, 실재 진동 데이터에서는 97.1%의 CC와 8.22의 RMSE를 기록하여 검증되었다. 이는 측정되지 않은 센서 출력에 대해 뛰어난 성능을 보였다.

ABSTRACT

Partial differential equations (PDEs) are a model candidate for soft sensors in industrial processes with spatiotemporal dependence. Although physics-informed neural networks (PINNs) are a promising machine learning method for solving PDEs, they are infeasible for the nonhomogeneous PDEs with unmeasurable source terms. To this end, a coupled PINN (CPINN) with a recurrent prediction (RP) learning strategy (CPINN- RP) is proposed. First, CPINN composed of NetU and NetG is proposed. NetU is for approximating PDEs solutions and NetG is for regularizing the training of NetU. The two networks are integrated into a data-physics-hybrid loss function. Then, we theoretically prove that the proposed CPINN has a satisfying approximation capability for solutions to nonhomogeneous PDEs with unmeasurable source terms. Besides the theoretical aspects, we propose a hierarchical training strategy to optimize and couple NetU and NetG. Secondly, NetU-RP is proposed for compensating information loss in data sampling to improve the prediction performance, in which RP is the recurrently delayed outputs of well-trained CPINN and hard sensors. Finally, the artificial and practical datasets are used to verify the feasibility and effectiveness of CPINN-RP for soft sensors.

연구 동기 및 목표

• 산업적 소프트 센서에서 측정되지 않는 소스 항을 가진 비동차 PDE를 해결하는 데 도전하는 것.
• 소스 항의 직접 측정 없이도 정확도를 유지할 수 있는 물리 기반 신경망 프레임워크를 개발하는 것.
• 순환 예측을 통해 데이터 샘플링 손실을 보완하여 예측 성능을 향상시키는 것.
• 합성 데이터와 실세계 산업 진동 데이터를 기반으로 방법을 검증하는 것.
• 시공간 역학과 접근 불가능한 소스를 가진 복잡한 시스템에서 핵심 변수에 대한 견고한 소프트 센싱을 가능하게 하는 것.

제안 방법

• PDE 해 근사용 NetU와 NetU 학습 정규화용 NetG를 갖는 두 개의 네트워크로 구성된 연합 PINN(CPINN) 프레임워크를 제안한다.
• PDE 제약 조건과 경계/초기 조건을 강제하기 위해 NetU와 NetG를 데이터-물리-하이브리드 손실 함수에 통합한다.
• NetU와 NetG를 최적화하고 결합하기 위한 계층적 학습 전략을 도입하여 수렴성과 안정성을 향상시킨다.
• 학습된 CPINN의 지연 출력과 하드 센서 데이터를 이용해 정보 손실을 보완하기 위해 지연 출력 기반 순환 예측 모듈인 NetU-RP를 개발한다.
• 이론적 분석을 통해 L²-노름 수렴을 이용해 측정되지 않는 소스 항이 존재하는 조건 하에서 CPINN의 근사 능력을 입증한다.
• 물리 법칙과 신경망 학습을 융합한 메쉬프리, 데이터 기반 접근 방식을 활용하여 PDE 해를 도출한다.

실험 결과

연구 질문

• RQ1 측정되지 않는 소스 항이 존재할 경우 물리 기반 신경망 프레임워크가 비동차 PDE를 효과적으로 해결할 수 있는가?
• RQ2 직접적인 소스 측정 없이도 PDE 해를 구하는 신경망의 학습을 어떻게 안정화하고 향상시킬 수 있는가?
• RQ3 하드 센서 데이터와 이전 CPINN 출력에서 유도한 순환 예측이 자료가 흐물한 영역에서 예측 정확도를 향상시킬 수 있는가?
• RQ4 제안된 CPINN-RP 프레임워크는 측정되지 않는 소스를 가진 합성 및 실세계 산업 PDE 문제에서 어떤 성능을 보이는가?
• RQ5 계층적 학습 전략은 CPINN 모델의 일반화 능력과 견고성을 얼마나 향상시키는가?

주요 결과

• 합성 1D 파동 방정식 데이터에서 CPINN-RP는 도메인 [0,π]×[0,6] 전역에서 상관계수(CC) 98.77%와 RMSE 6.75%를 달성하였다.
• 1D 파동 방정식에서 고정된 시간 t=2와 t=4에서 RMSE는 각각 4.84×10⁻² 및 5.28×10⁻²였으며, CC 값은 98.98% 및 98.20%였다.
• 실제 항공기 엔진 스플라인 커플링 실험에서 CPINN-RP는 측정되지 않은 센서 4의 출력을 테스트 데이터 기반으로 97.14%의 CC와 8.22의 RMSE로 예측하여 기준 모델을 초월하였다.
• 이 방법은 강력한 일반화 능력을 보였으며, 센서 1~3에 대해 훈련 데이터에서 99.9%의 CC를 기록하여 기저 역학을 효과적으로 학습한 것으로 나타났다.
• 계층적 학습 전략은 수렴성과 안정성을 크게 향상시켜 측정되지 않는 소스가 존재하는 상황에서도 신뢰할 수 있는 해 근사가 가능하도록 하였다.
• 순환 예측 구성 요소는 데이터 샘플링 손실을 효과적으로 보완하여 흐물한 측정 조건에서의 예측 정밀도를 향상시켰다.