[논문 리뷰] An Iterative Scientific Machine Learning Approach for Discovery of Theories Underlying Physical Phenomena

Navid Zobeiry, Keith D. Humfeld|arXiv (Cornell University)|2019. 09. 24.

Neural Networks and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 통제 방정식이나 사전 지식 없이도 기초 물리 이론을 발견하기 위한 반복적 과학 기반 기계학습 접근법을 제안한다. 변환된 특징에 대해 일반적인 함수 형태(예: 거듭제곱, 지수함수, 무차원 수)의 무작위 조합을 테스트하여 신경망 학습 및 수렴 속도를 통해 높은 상관관계를 가지는 식을 식별함으로써, 세 가지 블라인드 시범에서 닫힌 형태의 물리 법칙을 성공적으로 복원한다.

ABSTRACT

Form a pure mathematical point of view, common functional forms representing different physical phenomena can be defined. For example, rates of chemical reactions, diffusion and heat transfer are all governed by exponential-type expressions. If machine learning is used for physical problems, inferred from domain knowledge, original features can be transformed in such a way that the end expressions are highly aligned and correlated with the underlying physics. This should significantly reduce the training effort in terms of iterations, architecture and the number of required data points. We extend this by approaching a problem from an agnostic position and propose a systematic and iterative methodology to discover theories underlying physical phenomena. At first, commonly observed functional forms of theoretical expressions are used to transform original features before conducting correlation analysis to output. Using random combinations of highly correlated expressions, training of Neural Networks (NN) are performed. By comparing the rates of convergence or mean error in training, expressions describing the underlying physical problems can be discovered, leading to extracting explicit analytic equations. This approach was used in three blind demonstrations for different physical phenomena.

연구 동기 및 목표

• 물리 현상의 기초가 되는 명시적 해석적 방정식을 발견하기 위한 이론에 종속되지 않은 반복적 기계학습 프레임워크를 개발하기 위해.
• 공통적인 함수 형태(예: 거듭제곱 법칙, 지수함수, 무차원 수)를 체계적으로 테스트하여 도메인 전문 지식 의존도를 줄이기 위해.
• 특징 변환에 따른 신경망 학습 수렴 속도와 평균 오차를 측정하여 가장 물리적으로 의미 있는 식을 식별하기 위해.
• 기계학습, 열전달, 기체역학 등 다양한 물리 영역에서 블라인드 시나리오에서의 효능을 입증하기 위해.
• 데이터가 부족한 물리 시스템에서 블랙박스 기계학습의 체계적이고 해석 가능한 대안을 제공하기 위해.

제안 방법

• 이 방법은 일반적인 물리 식에서 유래한 후보 함수 형태 라이브러리를 생성함으로써 시작되며, 예를 들어 거듭제곱, 지수함수, 삼각함수, 역수 등이다.
• 각 후보 식에 대해 원본 특징을 변환하고 이를 신경망의 입력으로 사용하며, 출력은 측정된 물리적 양이 된다.
• 학습 성능(수렴 속도 및 평균 오차)을 측정하여 후보 식을 순위 매기며, 더 빠른 수렴은 진정한 물리적 법칙과의 강한 상관관계를 나타낸다.
• 이 방법은 반복적 상관관계 분석과 신경망 학습을 결합하며, 가장 상관관계가 높은 함수 형태가 진정한 물리 법칙의 잠재적 구성 요소로 선정된다.
• 특히 입력 단위가 제공되는 경우, 알려진 물리 단위와 차원 분석을 활용하여 검색 공간을 줄인다.
• 최종 후보 식은 대수적 변환(예: $X^{-2} = (X^{-4})^{0.5}$)을 통해 알려진 닫힌 형태의 해와 비교하여 검증된다.

실험 결과

연구 질문

• RQ1 기계학습 접근법이 통제 방정식이나 함수 형태에 대한 사전 지식 없이도 시스템의 기초 물리 법칙을 발견할 수 있는가?
• RQ2 일반적인 물리 함수 형태(예: 거듭제곱 법칙, 지수함수, 무차원 수)를 반복적 테스트를 통해 올바른 식을 식별하는 데 얼마나 효과적인가?
• RQ3 학습 수렴 속도와 평균 오차가 후보 함수 형태의 정확성을 신뢰할 수 있는 지표로 작용하는 정도는 어느 정도인가?
• RQ4 입력 단위와 차원 분석은 발견 과정의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ5 이 방법은 정확한 물리 식과 수학적으로 동치이지만 물리적으로 혼동스러운 유도식을 구별할 수 있는가?

주요 결과

• 이 방법은 반복적 상관관계 분석과 신경망 학습을 통해 운동 방정식($x = x_0 + v_0 t + rac{1}{2} a t^2$)의 정확한 닫힌 형태 해를 복원했다.
• 대류 열전달에서의 뉴셀트 수에 대해, 알려진 해와 매우 유사한 식을 식별했으며, $Re^{1/2}$, $Pr^{1/3}$, $ ho^{-1/2}$ 등의 구성 요소를 포함하고 있으나, 검색 공간의 근사로 인해 정확히 일치하지는 않았다.
• 기울어진 충격파 문제에서는 여러 개의 등가 식(예: $M^{-1}, M^{-2}, aneta, ext{csc}eta$)이 감지되었으며, 대수적 중복성에도 불구하고 핵심 함수 성분을 식별했다.
• 입력 단위의 포함으로 후보 함수의 수가 크게 감소했고, 특히 세 번째 시범에서 발견 효율성이 향상되었다.
• 수학적으로 동치이지만 물리적으로 유일하지 않은 식(예: $X^{-2} = (X^{-4})^{0.5}$)이 잘못된 긍정 결과로 나타나는 등, 물리적 동치성과 대수적 동치성을 구분하는 데 어려움이 있다는 점이 드러났다.
• 이 방법은 세 가지 다른 물리 영역에서의 블라인드 테스트에서 뛰어난 성능을 보이며, 과학 이론 발견의 시작점으로서의 잠재력을 입증했다.