[논문 리뷰] An extended physics informed neural network for preliminary analysis of parametric optimal control problems

Nicola Demo, Maria Strazzullo외 1명|arXiv (Cornell University)|2021. 10. 26.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 물리 기반 제약 조건을 손실 함수 외에도 추가 입력 특징과 네트워크 아키텍처에 통합하여, 매개변수 기반 최적 제어 문제(OCPs)의 학습 속도를 가속화하고 정확도를 향상시키는 확장된 물리 기반 신경망(PINN)을 제안한다. 이 방법은 버거스 문제에서 학습 에포크 수를 33% 감소시키며 빠른 수렴을 달성했고, 매개변수 기반 PDE, 특히 매개변수 기반 포아송 방정식과 OCPs에서도 높은 해석 정확도를 유지한다.

ABSTRACT

In this work we propose an extension of physics informed supervised learning strategies to parametric partial differential equations. Indeed, even if the latter are indisputably useful in many applications, they can be computationally expensive most of all in a real-time and many-query setting. Thus, our main goal is to provide a physics informed learning paradigm to simulate parametrized phenomena in a small amount of time. The physics information will be exploited in many ways, in the loss function (standard physics informed neural networks), as an augmented input (extra feature employment) and as a guideline to build an effective structure for the neural network (physics informed architecture). These three aspects, combined together, will lead to a faster training phase and to a more accurate parametric prediction. The methodology has been tested for several equations and also in an optimal control framework.

연구 동기 및 목표

• 실시간 및 다수의 조건을 요구하는 응용 분야에서 매개변수 기반 PDE와 최적 제어 문제(OCPs)를 해결하는 데 드는 높은 계산 비용을 해결하기 위해.
• 기존 PINN가 매개변수 설정에서 한계를 보일 수 있도록 손실 함수 정규화를 넘어서 물리 지식을 통합함으로써 이를 극복하기 위해.
• 기존 PINN 코드와 호환되며 물리 지식을 입력 특징과 네트워크 구조 양쪽 모두에 활용하는 통합적이고 확장 가능한 PINN 프레임워크를 개발하기 위해.
• 매개변수에 의존하는 방정식과 원하는 프로파일을 가진 OCPs의 학습을 가속화하고 일반화 능력을 향상시키기 위해.
• 버거스 방정식과 매개변수 기반 포아송 방정식을 포함한 벤치마크 문제에서 방법의 효과성을 입증하기 위해.

제안 방법

• 세 가지 메커니즘을 통해 물리 정보를 PINN 프레임워크에 통합하기: (1) 손실 함수 정규화, (2) 추가 입력 특징(예: 초기 조건, 경계 조건, 외부 힘 항), (3) 물리 기반 신경망 아키텍처 설계.
• 매개변수 기반 PDE에서 학습 효율성을 향상시키기 위해 강제항 $ f(\boldsymbol{x},\bm{\nu}) = e^{-2((x_0-\nu_1)^2 + (x_1-\nu_1)^2)} $ 를 추가 입력 특징으로 사용한다.
• 버거스 문제에 대해 3층 완전 연결 신경망을 사용하며 뉴런 수는 각각 20–10–5이며, 하이퍼볼릭 탄젠트 활성화 함수를 적용한다; 포아송 문제에 대해서는 각 레이어에 20개의 뉴런을 사용하고 소프트플러스 활성화 함수를 적용한다.
• ADAM 옵티마이저를 사용하여 학습하며, 버거스 문제의 경우 학습률 0.006, 포아송 문제의 경우 0.03를 설정하고, 콜로케이션 점은 라틴 하이퍼큐브(내부) 및 균일 분포(경계)를 통해 샘플링한다.
• 손실 함수는 PDE 잔여항 최소화, 경계 조건, 그리고 매개변수 기반 경우 매개변수에 의존하는 제약 조건을 포함하도록 정의한다.
• 매개변수 $ \bm{\nu} $ 를 네트워크의 입력에 포함시켜 다양한 매개변수 인스턴스 간의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리 기반 신경망은 매개변수 기반 최적 제어 문제에서 학습 속도를 가속화하고 정확도를 향상시키기 위해 확장될 수 있는가?
• RQ2 초기 조건, 외부 힘 항과 같은 물리적 양을 추가 입력 특징으로 통합할 경우 PINN의 수렴 속도와 해석 정확도에 어떤 영향을 미치는가?
• RQ3 기존 PINN에 비해 물리 기반 네트워크 아키텍처 설계가 학습 효율을 얼마나 향상시키는가?
• RQ4 제안된 방법은 매개변수 기반 PDE에서 다양한 매개변수 값에 대해 높은 정확도를 유지하면서 학습 시간을 줄일 수 있는가?
• RQ5 추가 특징과 물리 기반 아키텍처의 조합이 기존 PINN에 비해 손실 수렴과 점별 오차 측면에서 어떻게 비교되는가?

주요 결과

• 강제항을 추가 입력 특징으로 통합함으로써 버거스 문제에서 손실 허용 오차 0.0001에 도달하기 위한 에포크 수가 180,000에서 120,000으로 감소하여 학습 시간이 33% 감소했다.
• 모든 테스트된 매개변수 인스턴스에서 매개변수 기반 포아송 문제의 점별 오차가 $ 3 \cdot 10^{-2} $ 이하로 유지되었다.
• 제안된 방법은 매개변수 기반 포아송 문제에서 $ \bm{\nu} = (-0.8, -0.8) $ 와 $ \bm{\nu} = (0.8, 0.8) $ 의 경우 모두 정확한 예측을 달성했으며, PINN 해와 유한요소법(FEM) 기반 참값 해 사이에 시각적·정량적 일치가 관찰되었다.
• 복잡한 문제인 버거스 방정식과 같은 경우에도 추가 특징 사용이 수렴 속도 향상에 기여했으며, 단순한 경우에 비해 성능 향상 정도는 다소 낮았다.
• 물리 기반 아키텍처와 특징 공학 접근 방식은 기존 표준 PINN 실행 환경과 완전히 호환되어 기존 PINN 코드베이스에 쉽게 통합할 수 있었다.
• 이 방법은 축퇴형(버거스), 타원형(포아송), 최적 제어 문제를 포함한 다양한 PDE 유형에서 뚜렷한 성능 향상을 보이며, 일관된 성능 향상을 보였다.