[논문 리뷰] Living in the Physics and Machine Learning Interplay for Earth Observation

Gustau Camps‐Valls, Daniel Heestermans Svendsen외 8명|arXiv (Cornell University)|2020. 10. 18.

Scientific Computing and Data Management참고 문헌 44인용 수 4

한 줄 요약

이 논문은 지구 관측 시스템의 일관성, 신뢰성, 일반화 능력을 향상시키기 위해 물리 기반 모델과 기계 학습을 융합한 하이브리드 프레임워크를 제안한다. 질량 및 에너지 보존과 같은 물리 법칙을 제약 학습을 통해 데이터 기반 모델에 통합함으로써, 물리적 인식 신경망은 더 나은 일반화, 더 낮은 과적합, 더 높은 해석 가능성 달성한다. 실험 결과는 기존 방법 대비 매개변수 추정 오차가 1000배 감소한 것으로 나타났다.

ABSTRACT

Most problems in Earth sciences aim to do inferences about the system, where accurate predictions are just a tiny part of the whole problem. Inferences mean understanding variables relations, deriving models that are physically interpretable, that are simple parsimonious, and mathematically tractable. Machine learning models alone are excellent approximators, but very often do not respect the most elementary laws of physics, like mass or energy conservation, so consistency and confidence are compromised. In this paper, we describe the main challenges ahead in the field, and introduce several ways to live in the Physics and machine learning interplay: to encode differential equations from data, constrain data-driven models with physics-priors and dependence constraints, improve parameterizations, emulate physical models, and blend data-driven and process-based models. This is a collective long-term AI agenda towards developing and applying algorithms capable of discovering knowledge in the Earth system.

연구 동기 및 목표

• 순수한 데이터 기반 기계 학습 모델이 지구 과학 분야에서 물리적 일관성이 부족한 문제를 해결하기 위해.
• 에너지 및 질량 보존과 같은 기본 물리 법칙을 기계 학습 아키텍처에 통합함으로써 모델의 신뢰성과 일반화 능력을 향상시키기 위해.
• 물리적 사전 지식을 이용한 매개변수 공간 제약를 통해 과적합과 데이터 요구량을 줄이기 위해.
• 물리적 인식 베이지안 추론을 통해 복잡한 지구 시스템 모델에서 강력한 매개변수 추정과 불확실성 정량화를 가능하게 하기 위해.
• 데이터 기반 모델링과 과정 기반 모델링을 통합하는 하이브리드 AI 전략을 개발하여 지구 관측 분야의 과학적 발견을 지원하기 위해.

제안 방법

• 기계 학습 모델의 손실 함수에 미분 방정식과 보존 법칙을 직접 통합함으로써 물리 기반 신경망(PINNs)을 사용한다.
• 역모델링에서 복잡하고 고차원의 후행 분포를 효율적으로 샘플링하기 위해 FUSS 알고리즘을 활용한 변분 추론과 지그비 샘플링을 적용한다.
• 커널 기반 분포 매칭과 의존성 제약을 사용하여 데이터 기반 모델과 물리 모델 간의 통계적 일관성을 강제한다.
• 계산 비용이 높은 물리 시뮬레이터를 빠르고 미분 가능한 대체 모델로 대체하기 위해 모델 에미레이션을 활용한다.
• 베이지안 프레임워크에서 사전 제약 조건을 통해 도메인 지식을 통합하여 물리적으로 타당한 해를 포함하는 해의 탐색 공간을 제한한다.
• 변분 접근법을 사용하여 정방 및 역방향 모델링을 통합하여 잠재 함수, 구동력, 매개변수를 동시에 추론한다.

실험 결과

연구 질문

• RQ1 지구 관측에서 높은 예측 정확도를 유지하면서 기계 학습 모델의 물리적 일관성을 어떻게 확보할 수 있는가?
• RQ2 보존 법칙과 미분 방정식을 데이터 기반 모델에 효과적으로 통합하는 방법은 무엇인가?
• RQ3 물리적 인식 기계 학습이 더 적은 학습 데이터로 과적합을 줄이고 일반화 능력을 향상시킬 수 있는가?
• RQ4 지구 시스템 모델링에서 발생하는 고차원이고 복잡한 후행 분포에서 효율적인 베이지안 추론을 수행하는 방법은 무엇인가?
• RQ5 하이브리드 모델이 물리 시스템에서 불확실성 정량화와 매개변수 추정을 얼마나 향상시킬 수 있는가?

주요 결과

• 물리적 인식 기계 학습 모델은 물리적으로 타당한 영역으로 매개변수 공간을 제약함으로써 일반화 능력 향상과 과적합 감소를 달성한다.
• 혼돈 시스템에서 표준 메트로폴리스-하스팅스(Metropolis-Hastings) 내부 샘플링 대비 FUSS-within-Gibbs 샘플러가 매개변수 추정의 평균 제곱오차(MSE)를 1000배 이상 감소시킨다.
• 노이즈가 있는 로지스틱 맵에서 매개변수 R과 Ω를 추정할 때 실험 결과로 MSE가 약 10^-4 수준으로 나타났으며, 표준 MH-within-Gibbs 방법 대비 약 0.65 수준이었다.
• 기계 학습에 물리 법칙을 통합함으로써 더 흐린, 더 해석 가능한 모델이 되었으며, 유사한 성능을 달성하기 위해 필요한 학습 데이터도 줄어들었다.
• 물리 기반 제약은 모델의 신뢰성 향상과 관측된 데이터를 초월한 외삽 능력을 가능하게 하여 순수한 데이터 기반 모델의 핵심 한계를 해결한다.
• 하이브리드 모델링 프레임워크는 계산 효율성을 향상시키고 불확실성 정량화를 지원하여 복잡한 지구 시스템 응용 분야에 적합하다.