[논문 리뷰] Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training

Teeratorn Kadeethum, Thomas Martini Jørgensen외 1명|arXiv (Cornell University)|2020. 05. 18.

Model Reduction and Neural Networks참고 문헌 40인용 수 10

한 줄 요약

이 논문은 다공성 매체에서 비선형 Biot의 방정식에 대한 역문제를 해결하기 위해 배치 학습을 통한 물리 기반 신경망(PINNs)을 제안하며, 물리적 매개변수 추정 정확도를 향상시킨다. 작은 배치 크기(8 또는 32)가 전체 배치 또는 큰 배치보다 훨씬 낮은 백분율 오차(예: θ₁에 대해 0.13–0.56%)를 낳는 것으로 밝혀졌으며, 이는 더 긴 학습 시간을 감수하는 대가로 얻어진다. 또한 10%의 노이즈에 대해 강건성을 입증하고 학습률 민감도를 확인하였다.

ABSTRACT

In biomedical engineering, earthquake prediction, and underground energy harvesting, it is crucial to indirectly estimate the physical properties of porous media since the direct measurement of those are usually impractical/prohibitive. Here we apply the physics-informed neural networks to solve the inverse problem with regard to the nonlinear Biot's equations. Specifically, we consider batch training and explore the effect of different batch sizes. The results show that training with small batch sizes, i.e., a few examples per batch, provides better approximations (lower percentage error) of the physical parameters than using large batches or the full batch. The increased accuracy of the physical parameters, comes at the cost of longer training time. Specifically, we find the size should not be too small since a very small batch size requires a very long training time without a corresponding improvement in estimation accuracy. We find that a batch size of 8 or 32 is a good compromise, which is also robust to additive noise in the data. The learning rate also plays an important role and should be used as a hyperparameter.

연구 동기 및 목표

• 비선형 Biot의 방정식에 대한 역문제에 대해 PINNs를 전체 배치 학습에서 배치 학습으로 확장하기.
• 배치 크기가 PINN 기반 매개변수 추론의 추정 정확도와 학습 효율성에 미치는 영향을 조사하기.
• 다공성 매체 응용 분야에서 관측 데이터에 노이즈가 존재할 경우 배치 학습된 PINNs의 강건성을 평가하기.
• 정확하고 효율적인 역모델링을 위한 최적의 하이퍼파rameter, 특히 배치 크기와 학습률을 규명하기.

제안 방법

• 연구는 비선형 Biot의 방정식의 강형(form)을 손실 함수에 통합하여 물리적 일致성을 강제하는 물리 기반 신경망(PINNs)을 사용한다.
• 심층 신경망은 미니배치 확률적 경사하강법을 사용하여 학습되며, 손실은 데이터 불일치와 PDE 잔여항의 합으로 구성된다.
• 수렴성과 매개변수 추정 정확도에 대한 영향을 평가하기 위해 다양한 배치 크기(8, 32, 128, 전체 배치)를 사용한다.
• 관측 압력 및 변위 데이터에 노이즈를 도입하기 위해 평균이 0인 가우시안 분포를 사용하여 강건성 테스트를 수행한다.
• 학습률는 하이퍼파rameter로 간주되며 수렴성과 정확도를 최적화하기 위해 조정된다.
• 모델 안정성과 일반화 능력을 평가하기 위해 무작위 가중치 초기화 6회 반복 실험을 실시한다.

실험 결과

연구 질문

• RQ1 배치 학습은 전체 배치 학습 대비 비선형 Biot의 방정식에 대한 PINNs의 물리적 매개변수 추정 정확도에 어떤 영향을 미치는가?
• RQ2 PINN 기반 역문제에서 추정 정확도와 학습 시간을 균형 잡는 데 최적의 배치 크기는 무엇인가?
• RQ3 노이즈가 있는 데이터(최대 10%)가 배치 학습된 PINNs의 물리적 매개변수 추정 성능에 어떤 영향을 미치는가?
• RQ4 학습률은 이 역문제에 대한 배치 학습된 PINNs의 수렴성과 정확도에 어떤 역할을 하는가?
• RQ5 다양한 무작위 가중치 초기화 간에 배치 학습된 PINNs의 성능은 강건한가?

주요 결과

• 배치 크기 8 또는 32가 물리적 매개변수 추정에서 가장 낮은 백분율 오차를 기록하며, 0% 노이즈 조건에서 θ₁의 오차가 0.13%로 나타나 전체 배치 학습(64.10% 오차)을 크게 능가한다.
• 매우 작은 배치 크기(예: 1)로 학습할 경우 정확도 향상 없이 학습 시간만 증가하므로, 일정 수준 이상에서는 수익 감소 현상이 나타남을 시사한다.
• 큰 배치 크기(예: 128) 및 전체 배치 학습은 더 높은 추정 오차(0% 노이즈 조건에서 θ₁에 대해 12.43%)를 초래하며, 일반화 능력 저하와 국소 최적점에 갇힐 위험 증가를 시사한다.
• 모델은 노이즈가 있는 데이터 조건에서도 강건성을 유지하며, 10% 노이즈 조건에서도 모든 매개변수의 추정 오차가 25% 이내로 유지되며, 특히 배치 크기 8 또는 32일 경우 뚜렷한 우수성을 보였다.
• 학습률는 핵심 하이퍼파ram터이며, 최적치에서 벗어난 값은 모델 성능을 심각하게 악화시키므로 신중한 조정이 필수적이다.
• 다양한 무작위 초기화 간에 모델 성능은 안정적이며, 6회 반복 실험 전반에서 일관된 경향이 관찰되어 안정적인 수렴을 보였다.