[논문 리뷰] A practical PINN framework for multi-scale problems with multi-magnitude loss terms

Yong Wang, Yanzhong Yao외 2명|arXiv (Cornell University)|2023. 08. 13.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 다중 척도 문제를 위한 실용적인 PINN 프레임워크인 MMPINN를 제안한다. 다양한 크기의 손실 항을 균형 있게 조정하기 위해 그룹화 정규화 전략을 도입하고, 푸리에 특징 네트워크와 같은 전문화된 신경망 아키텍처를 통합하였다. 이 방법은 기존 PINN에 비해 예측 정확도와 수렴 속도를 크게 향상시키며, 특히 고주파수 및 다중 척도 PDE 문제에서 뛰어난 성능을 보였다. 벤치마크 테스트에서의 성능 우월성이 입증되었다.

ABSTRACT

For multi-scale problems, the conventional physics-informed neural networks (PINNs) face some challenges in obtaining available predictions. In this paper, based on PINNs, we propose a practical deep learning framework for multi-scale problems by reconstructing the loss function and associating it with special neural network architectures. New PINN methods derived from the improved PINN framework differ from the conventional PINN method mainly in two aspects. First, the new methods use a novel loss function by modifying the standard loss function through a (grouping) regularization strategy. The regularization strategy implements a different power operation on each loss term so that all loss terms composing the loss function are of approximately the same order of magnitude, which makes all loss terms be optimized synchronously during the optimization process. Second, for the multi-frequency or high-frequency problems, in addition to using the modified loss function, new methods upgrade the neural network architecture from the common fully-connected neural network to special network architectures such as the Fourier feature architecture, and the integrated architecture developed by us. The combination of the above two techniques leads to a significant improvement in the computational accuracy of multi-scale problems. Several challenging numerical examples demonstrate the effectiveness of the proposed methods. The proposed methods not only significantly outperform the conventional PINN method in terms of computational efficiency and computational accuracy, but also compare favorably with the state-of-the-art methods in the recent literature. The improved PINN framework facilitates better application of PINNs to multi-scale problems.

연구 동기 및 목표

• 감독 손실 항과 잔차 손실 항 간의 크기 차이가 큰 다중 척도 문제에서 기존 PINN의 낮은 성능을 해결하기 위해.
• 고주파수 또는 다중 주파수 문제를 해결할 때 표준 완전 연결 네트워크에서 발생하는 스펙트럼 편향과 기울기 흐름 문제를 극복하기 위해.
• 다양한 다중 척도 PDE 문제에 대해 정확도와 수렴 속도를 향상시키는 통합적이고 실용적인 딥러닝 프레임워크를 개발하기 위해.
• 예측값의 특성에 따라 급격한 기울기나 진동 행동을 보이는 도메인에서도 안정적이고 강력한 학습을 가능하게 하기 위해.
• 기존 PINN 변종과 최신 기술보다 뛰어난 성능을 보이는 일반화 가능한 접근 방식을 제공하기 위해.

제안 방법

• 최적화 과정에서 모든 손실 항이 유사한 크기로 유지되도록 각 손실 항에 다른 거듭제곱 연산을 적용하는 새로운 손실 함수를 도입하며, 그룹화 정규화 전략을 적용한다.
• 전역 손실 항과 하위 영역별 잔차 항 양쪽에 이 정규화 전략을 적용하여, 솔루션 특성이 상이한 영역 간에도 균형 잡힌 최적화를 가능하게 한다.
• 표준 완전 연결 네트워크 대신, 스펙트럼 편향을 줄이기 위해 푸리에 특징 네트워크(MFF)와 새로 개발한 통합 신경망(INN)을 적용한다.
• MFF에 잔차 연결과 정규화를 조합하여 INN 아키텍처를 설계함으로써 기울기 흐름을 향상시키고 고주파수 함수 근사 성능을 향상시킨다.
• 두 단계 최적화를 사용한다: 먼저 Adam을 통해 전역 수렴을 달성하고, 이후 L-BFGS를 통해 정밀 조정을 수행함으로써 학습 안정성과 속도를 향상시킨다.
• 정규화 전략을 통해 손실 항의 적응적 스케일링을 자동으로 수행함으로써 수동적인 하이퍼파rameter 튜닝이 필요 없어진다.

실험 결과

연구 질문

• RQ1 PINN에서 감독 손실 항과 잔차 손실 항 간의 크기 격차 문제를 효과적으로 완화할 수 있는 방법은 무엇인가? 이는 학습 안정성과 정확도 향상에 기여하는가?
• RQ2 각 손실 항에 다른 거듭제곱 연산을 적용하는 그룹화 정규화 전략이 다중 척도 영역에서 더 균형 잡힌 최적화와 더 나은 일반화를 이끌 수 있는가?
• RQ3 MFF와 INN과 같은 전문화된 신경망 아키텍처가 PINN에서 고주파수 또는 다중 주파수 솔루션의 표현 능력을 얼마나 향상시킬 수 있는가?
• RQ4 손실 함수 정규화와 고도화된 네트워크 아키텍처의 조합이 기존 방법에 비해 다중 척도 PDE 문제에서 PINN의 전반적인 성능을 얼마나 향상시키는가?
• RQ5 제안된 MMPINN 프레임워크는 도전적인 다중 척도 벤치마크 문제에서 최신 기술보다 뛰어난 정확도와 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• MMPINN-DNN-GRS 방법은 상대적 $L_2$ 오차가 $7.53 \pm 1.64 \times 10^{-4}$를 기록하여, 기존 PINN($1.12 \pm 0.10 \times 10^{0}$)과 심지어 $10^6$ 개의 Adam 스텝을 사용한 PINN($4.51 \pm 2.81 \times 10^{-2}$)보다 뚜렷이 뛰어난 성능을 보였다.
• MMPINN-DNN-GRS 방법은 약 4000회 반복 내에 수렴한 반면, MMPINN-DNN는 거의 10,000회 반복이 소요되어 계산 효율성이 향상됨을 입증했다.
• 손실 변동 곡선 분석 결과, MMPINN-DNN-GRS는 모든 하위영역에서 손실 항이 동시에 감소하는 경향을 보였지만, MMPINN-DNN는 작은 잔차 항을 효과적으로 최적화하지 못하는 것으로 나타났다.
• 이 방법은 최적화 과정에서 PDE 잔차의 지배적 영향을 효과적으로 완화하여 고크기 항에 대한 편향을 줄이고, 저크기 감독 데이터의 피팅 성능을 향상시켰다.
• INN 아키텍처는 스펙트럼 편향을 효과적으로 줄이고 기울기 흐름을 향상시켜, 다중 척도 솔루션의 고주파 성분을 정확하게 근사하는 데 기여했다.
• 제안된 프레임워크는 도전적인 다중 척도 PDE 문제에서 최신 기술보다 뛰어난 정확도와 수렴 속도를 확보하며 최첨단 성능을 달성했다.