[논문 리뷰] Integrating Machine Learning with Physics-Based Modeling

E Weinan, Jiequn Han외 1명|arXiv (Cornell University)|2020. 06. 04.

Machine Learning in Materials Science참고 문헌 42인용 수 26

한 줄 요약

이 논문은 다스케일 모델에서 물리적 제약 조건을 통합하고 데이터 기반 클로처를 사용하여 기계학습을 물리 기반 모델링과 통합하는 프레임워크를 제안한다. 기계학습이 희박한 기체에서 충격파 구조와 같은 복잡한 물리적 거동을 신뢰성 있게 근사할 수 있음을 보여주며, 고전적인 라우지에-스토크스-푸아르 모델보다 놀라운 정도로 볼츠만 방정식 결과와 일치한다.

ABSTRACT

Machine learning is poised as a very powerful tool that can drastically improve our ability to carry out scientific research. However, many issues need to be addressed before this becomes a reality. This article focuses on one particular issue of broad interest: How can we integrate machine learning with physics-based modeling to develop new interpretable and truly reliable physical models? After introducing the general guidelines, we discuss the two most important issues for developing machine learning-based physical models: Imposing physical constraints and obtaining optimal datasets. We also provide a simple and intuitive explanation for the fundamental reasons behind the success of modern machine learning, as well as an introduction to the concurrent machine learning framework needed for integrating machine learning with physics-based modeling. Molecular dynamics and moment closure of kinetic equations are used as examples to illustrate the main issues discussed. We end with a general discussion on where this integration will lead us to, and where the new frontier will be after machine learning is successfully integrated into scientific modeling.

연구 동기 및 목표

• 기계학습을 제1원리 물리학과 통합하여 해석 가능하고 신뢰할 수 있는 물리 모델을 개발하기 위해.
• 보존 법칙, 대칭성, 기준 프레임에 무관함을 지키는 물리적으로 일관된 기계학습 모델을 만드는 데 도전하기 위해.
• 미세 척도 모델을 고정밀도 학습 데이터 소스로 활용하여 자료 효율적이고 일반화 가능한 모델링을 가능하게 하기 위해.
• 운동학 이론과 분자 동역학와 같은 분야에서 미세 척도 운동에서 효과적인 거시 척도 모델을 유도하는 데 기계학습의 역할을 탐색하기 위해.
• 기계학습이 물리 기반 프레임워크에 성공적으로 통합된 후 과학적 모델링의 다음 전초 주력이 무엇이 될지 식별하기 위해.

제안 방법

• 신경망 모델의 손실 함수에 물리적 제약 조건(예: 보존 법칙, 대칭성)을 직접 적용하여 모델의 해석 가능성과 신뢰성을 보장한다.
• 마이크로 스케일 시뮬레이션과 매크로 스케일 모델을 클로처 관계를 통해 동시적으로 연결하는 기계학습 프레임워크를 사용한다.
• 모리-츠완직 형식을 적용하여 비마르코프, 기억 의존성 있는 동역학을 유도하고, 이를 순환 신경망을 사용하여 근사한다.
• 운동 방정식에서 모멘트 클로처 기법을 적용하고, 고차 모멘트를 표현하기 위해 에르미트 다항식을 사용하며, 신경망을 사용해 클로처 항을 예측한다.
• 기계학습 모델의 지도 학습을 위해 볼츠만 방정식 또는 슈뢰딩거 방정식으로부터의 고정밀도 데이터를 '황금 기준' 레이블로 활용한다.
• 주성분 분석과 데이터 기반 투영을 통한 감소된 차원 모델링을 사용하여 복잡한 시스템을 단순화하면서도 핵심 역학을 유지한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 보존 법칙과 대칭성과 같은 기본 물리 원칙을 지키도록 어떻게 제약 조건을 적용할 수 있는가?
• RQ2 미세 척도 물리 법칙은 알려져 있지만 계산적으로 비현실적인 상황에서 기계학습 모델의 학습 데이터를 최적으로 생성하는 방법은 무엇인가?
• RQ3 모멘트 방정식에서 기계학습 기반 클로처가 고마흐 수치 흐름에서 전체 볼츠만 방정식의 정확도를 재현할 수 있는가?
• RQ4 비마르코프 시스템에서 기억 효과를 모델링할 때, 모리-츠완직 형식과 순환 신경망 사이의 관계는 무엇인가?
• RQ5 기계학습이 물리 기반 프레임워크에 성공적으로 통합된 후 과학적 모델링의 다음 전초 주력은 무엇이 될 것인가?

주요 결과

• 기계학습 기반 클로처 모델(HermMLC)은 마하 5.5에서 충격파 프로파일에 대해 볼츠만 방정식과 놀라운 일치를 보이며, 고전적인 라우지에-스토크스-푸아르 모델을 능가한다.
• 고속 희박 기체 흐름에서 제안된 모델은 온도 과도현상과 비단조화적 응력 프로파일과 같은 비평형 효과를 성공적으로 포착한다.
• 손실 함수에 물리적 제약 조건을 통합함으로써 학습된 모델이 다양한 조건에서 물리적으로 의미 있고 강건하게 유지됨을 보장한다.
• 순환 신경망은 비마르코프 시스템에서 기억 효과를 효과적으로 모델링할 수 있으며, 모리-츠완직 형식의 계산적 실현을 제공한다.
• 이 프레임워크는 제1원리 모델만큼 신뢰할 수 있고 해석 가능한 고정밀도 모델을 개발할 수 있도록 하며, 계산적으로 더 효율적이다.
• 과학적 모델링의 다음 주요 블로킹 요소는 슈뢰딩거 방정식 또는 라우지에-스토크스 방정식과 같은 미세 척도 모델로부터 고품질, 고정밀도 데이터를 생성하는 것이다.