[논문 리뷰] CoPhy-PGNN: Learning Physics-guided Neural Networks with Competing Loss Functions for Solving Eigenvalue Problems

Mohannad Elhamod, Jie Bu외 6명|arXiv (Cornell University)|2020. 07. 02.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 양자역학 및 전자기학에서 고유값 문제를 해결하기 위해 훈련 중에 경쟁하는 물리 기반 손실 함수를 적응적으로 균형 잡는 물리 지도 신경망 프레임워크인 CoPhy-PGNN을 제안한다. 냉각 스케줄을 사용해 손실 가중치를 동적으로 조정함으로써 CoPhy-PGNN은 뛰어난 일반화 능력과 낮은 고유방정식 오차를 달성하여 대규모 배치에서 기준 모델보다 정확도와 확장성 측면에서 뛰어나다.

ABSTRACT

Physics-guided Neural Networks (PGNNs) represent an emerging class of neural networks that are trained using physics-guided (PG) loss functions (capturing violations in network outputs with known physics), along with the supervision contained in data. Existing work in PGNNs has demonstrated the efficacy of adding single PG loss functions in the neural network objectives, using constant trade-off parameters, to ensure better generalizability. However, in the presence of multiple PG functions with competing gradient directions, there is a need to adaptively tune the contribution of different PG loss functions during the course of training to arrive at generalizable solutions. We demonstrate the presence of competing PG losses in the generic neural network problem of solving for the lowest (or highest) eigenvector of a physics-based eigenvalue equation, which is commonly encountered in many scientific problems. We present a novel approach to handle competing PG losses and demonstrate its efficacy in learning generalizable solutions in two motivating applications of quantum mechanics and electromagnetic propagation. All the code and data used in this work is available at https://github.com/jayroxis/Cophy-PGNN.

연구 동기 및 목표

• 신경망 훈련에서 상충하는 물리 지도형(PG) 손실 함수의 문제를 해결하기 위해, 서로 다른 기울기가 최적화를 열악한 국소 최솟값에 갇힐 수 있도록 유도하는 것을 방지한다.
• 고정된 무게 조정 계수를 사용하는 것 대신, 훈련 중에 다수의 PG 손실 기여도를 적응적으로 조정하여 물리 인식 신경망의 일반화 능력을 향상시킨다.
• 양자역학 및 전자기파 전파와 같은 실제 과학 문제에서 고유값 방정식을 다루는 이 적응적 접근의 효과성을 입증한다.
• GPU 병렬 처리를 활용해 확장 가능한 추론을 가능하게 하여, 기존 반복적 해법 대비 대규모 배치 처리에서 뚜렷한 속도 향상을 보인다.
• 물리 법칙과 레이블이 부여된 데이터를 효과적으로 통합하는 신경망을 사용한 고유값 문제 해결을 위한 일반화 가능한 프레임워크를 제공한다.

제안 방법

• 냉각 스케줄을 통해 적응적 가중치를 사용하는 방식으로, 다수의 PG 손실 함수와 데이터 기반 손실을 결합한 물리 지도 신경망인 CoPhy-PGNN을 도입한다.
• 두 가지 적응적 손실 스케일링 메커니즘을 적용한다: 하나는 물리 손실(λ_C)에 대해, 비율 b로 0에서 시작하여 T_a 시점부터 증가하는 방식이며, 다른 하나는 데이터 손실(λ_S)에 대해 매 T 에포크마다 비율 α_S로 λ_S0에서 점차 감소시키는 방식이다.
• 손실의 가중합을 사용한다: L_total = λ_S × L_data + λ_C × L_PG로, λ_S와 λ_C 모두 훈련 중에 동적으로 조정되어 상충되는 목표를 균형 잡는다.
• 1D 양자 조화 진동자와 2D 광결정에서의 전자기파 전파의 두 도메인에서 고유값 문제를 해결하기 위해 프레임워크를 적용한다.
• 적응적 손실 체계를 사용한 확률적 경사 하강법으로 모델을 훈련하여, 초기화에 관계없이 전역 최솟값으로 수렴하도록 한다.
• 상대적 고유방정식 오차 및 진짜 고유벡터와의 오버랩 적분과 같은 지표를 사용해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 상충하는 물리 지도형 손실 함수의 적응적 균형 조정이 고유값 문제 신경망 해법의 일반화 능력을 향상시키는가?
• RQ2 다양한 물리적 제약 조건으로 인한 상충하는 기울기가 존재하는 상황에서 손실 가중치의 동적 조정이 전역 최솟값 수렴에 어떻게 영향을 주는가?
• RQ3 레이블이 부여된 데이터 손실과 물리 지도형 손실을 조합함으로써, 각각을 별도로 사용하는 것보다 모델의 안정성과 예측 정확도가 얼마나 향상되는가?
• RQ4 특히 전통적인 반복적 해법과 비교했을 때, 대규모 입력 배치를 처리할 때 CoPhy-PGNN의 추론 성능은 어떻게 확장되는가?
• RQ5 다양한 유형의 PG 손실 함수를 가진 양자 및 전자기 문제와 같은 다양한 물리 시스템 간에 모델이 일반화되는 정도는 어느 정도인가?

주요 결과

• CoPhy-PGNN은 기준 신경망에 비해 상대적 고유방정식 오차를 크게 감소시켜 많은 테스트 케이스에서 근사적으로 0에 수렴하는 오차를 달성한다.
• 모델은 뛰어난 일반화 능력을 보이며, 진짜 고유벡터와의 오버랩이 완전히 일치(1.0)하거나 전혀 일치하지 않음(0.0)하는 예측 비율이 높아 유효한 고유벡터를 식별하는 데 강건함을 보인다.
• 오버랩 적분의 히스토GRAM은 CoPhy-PGNN이 정확한 또는 완전히 수직인 고유벡터를 예측하는 반면, 기준 모델은 중간 수준의 오버랩 값을 보임을 보여준다.
• 배치 크기가 100만인 경우, CoPhy-PGNN은 TITAN RTX GPU에서 1초에 3억 개 이상의 입력을 처리하여 놀라운 런타임 확장성을 입증한다.
• 레이블이 부여된 데이터 손실과 적응적 PG 손실의 조합은 더 평탄하고 안정적인 손실 곡면을 만들어내어 일반화 능력 향상에 기여한다.
• 특히 예측 가능한 물리적 구성에 대한 외삽 성능에서, 블랙박스 신경망과 표준 PGNN보다 정확도와 일관성 측면에서 모두 뛰어나다.