[논문 리뷰] Combining Physics-Based Domain Knowledge and Machine Learning using Variational Gaussian Processes with Explicit Linear Prior.

Daniel Marino, Milos Manic|arXiv (Cornell University)|2019. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 5

한 줄 요약

이 논문은 부분적인 물리 기반 도메인 지식을 명시적인 선형 사전 분포를 통해 통합함으로써 인덕티브 편향, 확장성, 해석 가능성성을 향상시키는 변분 가우시안 프로세스 모델인 EVGP를 제안한다. 뉴턴 역학을 사전 지식으로 사용하고 데이터 기반 학습과 융합함으로써, EVGP는 완전히 데이터 기반 모델에 비해 특히 저자료 환경에서 일반화 성능을 크게 향상시킨다.

ABSTRACT

Centuries of development in natural sciences and mathematical modeling provide valuable domain expert knowledge that has yet to be explored for the development of machine learning models. When modeling complex physical systems, both domain knowledge and data contribute important information about the system. In this paper, we present a data-driven model that takes advantage of partial domain knowledge in order to improve generalization and interpretability. The presented model, which we call EVGP (Explicit Variational Gaussian Process), uses an explicit linear prior to incorporate partial domain knowledge while using data to fill in the gaps in knowledge. Variational inference was used to obtain a sparse approximation that scales well to large datasets. The advantages include: 1) using partial domain knowledge to improve inductive bias (assumptions of the model), 2) scalability to large datasets, 3) improved interpretability. We show how the EVGP model can be used to learn system dynamics using basic Newtonian mechanics as prior knowledge. We demonstrate that using simple priors from partially defined physics models considerably improves performance when compared to fully data-driven models.

연구 동기 및 목표

• 물리 법칙으로부터의 부분적 도메인 지식을 활용하여 인덕티브 편향과 모델 성능을 향상시키는 기계 학습 모델을 개발하는 것.
• 부족한 데이터로 인해 새로운 시나리오로의 일반화에 실패하는 순수 데이터 기반 모델의 한계를 해결하는 것.
• 확장성과 전문 지식 통합을 유지하면서도 대규모 데이터 세트에 대한 가우시안 프로세스 회귀를 스케일링하는 것.
• 부분적인 물리 기반 사전 지식이 시스템 역학 모델링에서 학습에 상당한 영향을 미칠 수 있음을 입증하는 것.

제안 방법

• EVGP 모델은 뉴턴 역학과 같은 알려진 물리 법칙에서 유도된 명시적인 선형 사전 분포를 사용하여 모델 구조에 부분적 도메인 지식을 통합한다.
• 스pars성 근사를 도출하기 위해 변분 추론을 적용하여 대규모 데이터 세트에서의 효율적 훈련과 추론을 가능하게 한다.
• 모델은 확률적 프레임워크를 통해 사전 지식과 관측된 데이터를 통합하여 불확실성 정량화와 강건한 학습을 가능하게 한다.
• 명시적인 선형 사전 분포는 가우시안 프로세스의 평균 함수에 통합되어, 모델이 알려진 물리적 제약을 준수하도록 보장한다.
• 변분 근사는 최적화의 실현 가능성을 보장하고 확장성을 향상시켜 실세계 응용에 적합한 접근법을 제공한다.

실험 결과

연구 질문

• RQ1 부분적인 물리 지식이 기계 학습 모델에 효과적으로 통합되어 일반화 성능을 향상시킬 수 있는가?
• RQ2 물리 기반 사전 지식을 통합할 경우 순수 데이터 기반 접근법에 비해 모델 성능에 어떤 영향을 미치는가?
• RQ3 변분 추론을 통해 가우시안 프로세스의 확장성은 어느 정도 향상되며, 해석 가능성과 인덕티브 편향은 유지되는가?
• RQ4 뉴턴 역학에서 유도된 단순한 선형 사전 지식이 시스템 역학 학습에 상당한 영향을 미칠 수 있는가?

주요 결과

• EVGP는 물리 사전 지식으로 인한 향상된 인덕티브 편향 덕분에 저자료 환경에서 완전히 데이터 기반 모델보다 시스템 역학 학습에서 뛰어난 성능을 보인다.
• 뉴턴 역학을 선형 사전 지식으로 통합함으로써 기준 모델에 비해 더 정확하고 물리적으로 타당한 예측을 도출한다.
• 변분 추론 접근법은 대규모 데이터 세트에 대해 효율적으로 확장되며 동시에 불확실성 추정을 유지한다.
• 모델은 명시적인 선형 사전 지식 덕분에 물리 법칙이 예측에 어떻게 영향을 미치는지 직접 점검할 수 있어 향상된 해석 가능성을 보여준다.