[논문 리뷰] Physics-Augmented Learning: A New Paradigm Beyond Physics-Informed Learning

Ziming Liu, Yunyue Chen외 2명|arXiv (Cornell University)|2021. 09. 28.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 라그랑주 역학, 양의 정부호성, 대칭성과 같은 생성형 물리적 성질—예를 들어, 라그랑주 역학, 양의 정부호성, 대칭성—을 신경망 아키텍처에 통합함으로써 물리적 인식 학습(PIL)을 보완하는 새로운 패러다임인 물리 증강 학습(PAL)을 소개한다. PIL이 손실 함수를 통한 분류적 제약을 강제하는 데 반해, PAL은 물리 법칙을 내재적으로 만족하는 구성 요소로 모델을 분해함으로써 PIL이 실패하거나 성능이 열 劣하는 경우—특히 기호 회귀와 N체 역학 예측에서—우수한 성능을 발휘한다.

ABSTRACT

Integrating physical inductive biases into machine learning can improve model generalizability. We generalize the successful paradigm of physics-informed learning (PIL) into a more general framework that also includes what we term physics-augmented learning (PAL). PIL and PAL complement each other by handling discriminative and generative properties, respectively. In numerical experiments, we show that PAL performs well on examples where PIL is inapplicable or inefficient.

연구 동기 및 목표

• 물리적 인식 학습(PIL)의 한계를 해결하기 위해, 분류적 물리 제약에 의존하고 물리 제약이 효율적으로 계산되지 않는 경우 실패하는 PIL의 문제점을 다루기 위함.
• 기본 물리 법칙(예: 라그랑주, 양의 정부호성, 대칭성 등)을 직접 모델 설계에 통합하는 새로운 패러다임인 물리 증강 학습(PAL)을 제안하기 위함.
• PIL이 적용 불가능하거나 비효율적인 상황에서 PAL이 PIL보다 더 우수한 일반화 및 성능을 발휘할 수 있음을 입증하기 위함.
• 기계 학습에서의 인덕티브 바이어스를 통합적으로 다루기 위해 분류적(PIL)과 생성적(PAL) 물리 성질을 구분하기 위함.
• 함수를 물리적으로 일관된 구성 요소로 분해함으로써 PAL이 더 정확한 기호 회귀와 역학 복원을 가능하게 함을 보여주기 위함.

제안 방법

• PAL은 생성형 물리 성질을 이상적 생성자—기본적으로 기호적 또는 신경망 기반 함수로, 주어진 물리 법칙을 만족하는 오직 객체만 생성하는 함수—로 정의한다.
• 목표 함수 $ f $ 를 $ f = f_+ + f_- $ 로 분해하며, 여기서 $ f_+ $ 는 특정 물리 성질(예: 가분성, 회전 불변성, 양성)을 만족하고 $ f_- $ 는 그 성질을 위반하는 잔차이다.
• 생성 성분인 $ f_+ $ 는 미분 가능하고 효율적이며 완전한 생성자에 의해 제약을 받음으로써 설계 시에 물리적 일관성을 보장한다.
• 이 방법은 $ f_+ $ 에 대해 기호 회귀(예: AI Feynman)를 활용하며, 엄격한 물리적 구조 덕분에 이점이 있으며, $ f_- $ 는 엔드 투 엔드로 학습된다.
• 역학 예측의 경우, PAL은 아키텍처 설계를 통해 상호작용 힘의 시간 불변성을 강제로 구현하지만, PIL은 손실 기반 정규화를 사용한다.
• 수치 실험을 통해 기호 회귀와 N체 역학 문제에서 PAL과 PIL을 동일한 조건에서 비교함으로써 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 손실 함수를 통한 강제가 아닌, 아키텍처에 직접 생성형 물리 법칙(예: 라그랑주 역학, 양의 정부호성 등)을 통합할 수 있는 기계 학습 프레임워크를 설계할 수 있는가?
• RQ2 물리 성질이 생성적일 뿐만 아니라 분류적일 수 없는 경우(예: 라그랑주 역학), PIL이 실패할 때 PAL도 여전히 효과적으로 적용될 수 있는가?
• RQ3 가분성, 회전 불변성, 양성 등의 성질을 포함한 기호 회귀 작업에서 PAL은 PIL보다 어떻게 비교되는가?
• RQ4 힘 법칙이 알려져 있지 않지만 시간 불변성을 가정할 수 있을 때, PAL은 N체 시스템의 역학 복원 정확도를 향상시킬 수 있는가?
• RQ5 아키텍처 통합을 통한 물리적 인덕티브 바이어스(PAL)는 손실 기반 정규화(PIL)보다 더 나은 일반화 및 해석 가능성 성능을 보이는가?

주요 결과

• PAL은 함수를 물리적으로 타당한 성분 $ f_+ $ 와 잔차 $ f_- $ 로 성공적으로 분해하여, 기호 회귀에서 진짜 가분성 부분을 거의 완벽하게 복원했다.
• 가분성의 경우, PAL은 오차가 0.02 이하로 $ x_1^2 + x_2^2 $ 를 복원했으며, PIL은 전체 비가분성 함수를 학습했다.
• 회전 불변성 작업에서, PAL은 오차가 $ ext{error} imes 10^{-5} $ 수준으로 대칭 성분 $ 0.5(x_1^2 + x_2^2) $ 를 추출했고, PIL은 대칭 부분을 분리하지 못했다.
• 양성 조건의 경우, PAL은 $ g(g(x)) $ 를 $ g(x) = - ext{sin}(x) + 0.004 $ 로 성공적으로 식별하여 참값과 일치했으며, PIL은 분류적 손실이 없어 적용 불가능했다.
• N체 역학에서, PAL은 궤도 보간과 힘 복원 모두에서 PIL을 능가했으며, 진짜 $ f(r) = r^2 $ 힘 법칙을 복원할 때 더 낮은 오차를 기록했다.
• 결과적으로 PAL은 PIL이 실패하는 경우에도 적용 가능할 뿐만 아니라, 둘 다 적용 가능한 경우에도 아키텍처 기반 인덕티브 바이어스 덕분에 성능이 뛰어나다는 것이 확인되었다.