[논문 리뷰] Stochastic projection based approach for gradient free physics informed learning

N Navaneeth, Souvik Chakraborty|arXiv (Cornell University)|2022. 09. 25.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 자동 미분을 대체하기 위해 확률적 투영 기반의 기울기 추정을 사용하는 기울기 자유형 물리 기반 신경망(SP-PINN)을 제안한다. 이는 비연속적 해, 복잡한 도메인, 불연속성을 가진 PDE의 안정적인 해법을 가능하게 하며, 더 적은 샘플링 점 수로도 정확한 예측을 가능하게 한다. 또한, 미분 가능하지 않은 활성화 함수와 CNN과 같은 아키텍처를 지원하여, 도전적인 균열 역학 문제에서 기존 PINN보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a stochastic projection-based gradient free physics-informed neural network. The proposed approach, referred to as the stochastic projection based physics informed neural network (SP-PINN), blends upscaled stochastic projection theory with the recently proposed physics-informed neural network. This results in a framework that is robust and can solve problems involving complex solution domain and discontinuities. SP-PINN is a gradient-free approach which addresses the computational bottleneck associated with automatic differentiation in conventional PINN. Efficacy of the proposed approach is illustrated by a number of examples involving regular domain, complex domain, complex response and phase field based fracture mechanics problems. Case studies by varying network architecture (activation function) and number of collocation points have also been presented.

연구 동기 및 목표

• 기존 물리 기반 신경망(PINN)에서 자동 미분의 계산적 병목 현상을 해결하기 위해.
• 비연속적 해, 복잡한 기하학적 구조, 불연속성을 가진 문제에 대해 PINN의 안정적 학습을 가능하게 하기 위해.
• 다양한 활성화 함수에 대한 의존도를 제거하여 ReLU, LeakyReLU 및 비차별 가능한 아키텍처인 CNN과 같은 구조를 사용할 수 있도록 하기 위해.
• 특히 고차원 또는 조건이 나쁜 PDE에서, 제한된 샘플링 점 수로도 학습 효율성과 정확도를 향상시키기 위해.
• 메쉬가 필요 없고 입자 기반인 프레임워크를 제공하여, 네트워크 아키텍처와 손실 함수 설계의 유연성을 확보하기 위해.

제안 방법

• SP-PINN 프레임워크는 확률적 투영 이론을 물리 기반 신경망과 융합하여 자동 미분에 의존하지 않는 기울기 추정을 수행한다.
• 기울기는 국소적 이웃 점들을 사용하여 기반 프레임워크 내에서 필터링을 통해 계산된다.
• 특정 층에서는 tanh 및 SELU 활성화 함수를 사용하고, 선형 출력 층을 포함한 4층의 완전 연결 딥 신경망을 사용한다.
• 경계 조건은 정확한 경계 함수를 사용해 네트워크 출력을 수정함으로써 약한 방식으로 강제한다. 이는 딜레르레 조건을 충족시키는 데 기여한다.
• 손실 함수는 PDE 잔차 오차, 초기 조건, 경계 조건을 조합하며, 변분 에너지 공식을 통해 페지 필드 균열 모델이 통합된다.
• 균열 진전 시뮬레이션 동안 메쉬 적응형 개선이 적용되며, 손실 함수의 길이 척도 매개변수 l₀ = 0.125는 손상 영역의 너비를 제어하는 데 사용된다.

실험 결과

연구 질문

• RQ1 PDE 해법에서 자동 미분의 계산 오버헤드를 피할 수 있는 기울기 자유형 PINN 프레임워크를 개발할 수 있는가?
• RQ2 SP-PINN는 비연속적 해와 복잡한 비직선 도메인을 가진 PDE에서 어떻게 성능을 발휘하는가?
• RQ3 SP-PINN는 정확한 균열 진전과 에너지 최소화를 가능하게 하여 페지 필드 균열 역학을 효과적으로 모델링할 수 있는가?
• RQ4 이 방법은 ReLU 및 LeakyReLU와 같은 비차별 가능한 활성화 함수와 CNN과 같은 아키텍처를 지원하는가?
• RQ5 샘플링 점의 수와 네트워크 아키텍처는 SP-PINN의 정확도와 수렴성에 어떤 영향을 미치는가?

주요 결과

• SP-PINN는 페지 필드 균열 문제에서 정확한 균열 진전 예측을 달성했으며, 실제 해와 AD-PINN 기준값과 매우 유사한 결과를 보였다.
• 20×20의 굵은 메쉬와 함께 적응형 메쉬 개선을 적용한 2차원 균열 역학 문제를 성공적으로 해결했으며, 변형 단계 3단계에서 균열 진전을 잘 포착했다.
• 비연속적 해와 불연속성의 모델링에서 뛰어난 안정성을 보였으며, 복잡한 도메인 문제에서 기존 PINN보다 뛰어난 성능을 발휘했다.
• 자동 미분에 의한 기울기 계산이 제거됨에 따라 ReLU 및 LeakyReLU와 같은 비차별 가능한 활성화 함수의 사용이 가능했다.
• 제한된 샘플링 점 수로도 높은 정확도를 유지했으며, 기존 PINN 접근 방식에 비해 계산 비용을 줄였다.
• 페지 필드 진전과 균열 진행 상황이 정확히 포착되었으며, 그림 20과 21의 시각적 결과는 정확한 해와 밀접한 일치를 보였다.