[논문 리뷰] Learning Neural Networks with Competing Physics Objectives: An Application in Quantum Mechanics.

Jie Bu, Mohannad Elhamod외 4명|arXiv (Cornell University)|2020. 07. 02.

Model Reduction and Neural Networks참고 문헌 19인용 수 2

한 줄 요약

이 논문은 양자역학에서 신경망을 훈련시키기 위한 적응형 다중목표 물리 지도 기반 기계학습 접근법을 제안한다. 여기서는 에너지 최소화와 슈뢰딩거 방정식 충족이라는 경쟁하는 물리적 제약 조건이 훈련 중에 동적으로 균형을 이룹니다. 비볼록이고 경쟁하는 물리적 손실 항목 간의 최적 트레이드오프를 학습함으로써 기존의 PGML 모델 대비 일반화 성능을 향상시킵니다.

ABSTRACT

Physics-guided Machine Learning (PGML) is an emerging field of research in machine learning (ML) that aims to harness the power of ML advances without ignoring the rich knowledge of physics underlying scientific phenomena. One of the promising directions in PGML is to modify the objective function of neural networks by adding physics-guided (PG) loss functions that measure the violation of physics objectives in the ANN outputs. Existing PGML approaches generally focus on incorporating a single physics objective as a PG loss, using constant trade-off parameters. However, in the presence of multiple physics objectives with competing non-convex PG loss terms, there is a need to adaptively tune the importance of competing PG loss terms during the process of neural network training. We present a novel approach to handle competing PG loss terms in the illustrative application of quantum mechanics, where the two competing physics objectives are minimizing the energy while satisfying the Schrodinger equation. We conducted a systematic evaluation of the effects of PG loss on the generalization ability of neural networks in comparison with several baseline methods in PGML. All the code and data used in this work is available at this https URL.

연구 동기 및 목표

• 기존의 물리 지도 기반 기계학습(PGML) 방법이 단일 물리 목표에 대해 고정된 트레이드오프 가중치를 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 신경망 훈련에서 비볼록 손실 함수를 가진 다수의 경쟁하는 물리 목표를 처리할 수 있는 프레임워크를 개발하기 위해.
• 서로 충돌하는 물리적 제약 조건의 중요도를 적응적으로 조정하여 양자역학적 시스템에서 신경망의 일반화 성능을 향상시키기 위해.
• 표준 PGML 기준 모델과의 비교를 통해 물리 지도 기반 손실 함수가 모델 일반화에 미치는 영향을 체계적으로 평가하기 위해.

제안 방법

• 신경망 훈련 중에 경쟁하는 물리 지도 기반(PG) 손실 항목의 가중치를 적응적으로 조정하는 동적 트레이드오프 메커니즘을 도입합니다.
• 두 가지 주요 목표인 양자 상태의 에너지 최소화와 슈뢰딩거 방정식 충족을 위해 양자역학에 적용합니다.
• 스위치 방정식의 미분 가능 표현을 제약 손실로 사용하고, 에너지 기대값 손실과 결합합니다.
• 적응형 가중치 계수를 가진 복합 손실 함수를 동시에 최소화하는 기반 기반 최적화 전략을 사용합니다.
• 수동적인 하이퍼파rameter 튜닝을 피하기 위해 검증 기반 메커니즘을 활용해 훈련 중에 PG 손실 항목의 상대적 중요도를 조정합니다.
• 기준 양자역학적 시스템에서 검증하여 일반화 성능을 고정된 가중치를 가진 PGML 기준 모델과 비교합니다.

실험 결과

연구 질문

• RQ1 경쟁하는 물리 목표의 적응형 가중치 조정이 양자역학에서 신경망의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 여러 개의 비볼록 물리 제약 조건이 존재할 때, 동적 손실 가중치 전략이 고정된 가중치를 가진 PGML 방법보다 우월한가?
• RQ3 에너지 최소화와 슈뢰딩거 방정식 충족과 같은 경쟁하는 물리 목표가 신경망 훈련에서 서로 얼마나 간섭하는가?
• RQ4 수렴 속도와 해의 정확도 측면에서 제안된 방법은 표준 PGML 기준 모델과 어떻게 비교되는가?

주요 결과

• 제안된 적응형 PGML 방법은 고정된 트레이드오프 가중치를 가진 기준 PGML 모델보다 뛰어난 일반화 성능을 달성한다.
• 물리적 손실 항목의 동적 조정은 양자역학적 시스템에서 더 빠른 수렴과 더 정확한 해를 이끌어낸다.
• 수동적인 하이퍼파rameter 튜닝 없이도 에너지 최소화와 슈뢰딩거 방정식 준수라는 경쟁 목표를 효과적으로 균형 잡는다.
• 두 물리 목표를 모두 포함함으로써 신경망 예측의 물리적 일관성과 신뢰성을 크게 향상시킨다.
• 실험 결과는 적응형 가중치 조정 메커니즘이 고정된 가중치 기준 모델 대비 에너지 추정 오차와 슈뢰딩거 방정식 위반을 줄임을 입증한다.
• 다양한 양자 시스템에 걸쳐 잘 일반화되어 있어 문제 영역 내 구조적 변동에 대해 강건함을 보여준다.