[논문 리뷰] Deep Learning for Physical Processes: Incorporating Prior Scientific Knowledge

Emmanuel de Bézenac, Arthur Pajot외 1명|arXiv (Cornell University)|2017. 11. 21.

Model Reduction and Neural Networks참고 문헌 42인용 수 249

한 줄 요약

요약: 이 논문은 대류-확산 물리학에 의해 가이드되는 모션 필드를 학습하여 해수면온도(SST)를 예측하는 심층 학습 아키텍처를 제시하고, 미분가능한 워핑으로 엔드-투-엔드 학습을 가능하게 하며 수치 모델 및 NN 기반 기준선과 비교한다.

ABSTRACT

We consider the use of Deep Learning methods for modeling complex phenomena like those occurring in natural physical processes. With the large amount of data gathered on these phenomena the data intensive paradigm could begin to challenge more traditional approaches elaborated over the years in fields like maths or physics. However, despite considerable successes in a variety of application domains, the machine learning field is not yet ready to handle the level of complexity required by such problems. Using an example application, namely Sea Surface Temperature Prediction, we show how general background knowledge gained from physics could be used as a guideline for designing efficient Deep Learning models. In order to motivate the approach and to assess its generality we demonstrate a formal link between the solution of a class of differential equations underlying a large family of physical phenomena and the proposed model. Experiments and comparison with series of baselines including a state of the art numerical approach is then provided.

연구 동기 및 목표

• 일반적인 물리 지식이 복잡한 수송 현상에 대한 딥러닝 모델 설계를 어떻게 안내할 수 있는지 동기를 부여한다.
• 최근 입력 프레임을 왜곡하고 모션 필드를 함께 추정하는 신경망 아키텍처를 제안하여 SST를 예측한다.
• 모델과 이동-확산 편미분방정식(PDE) 해의 형태적 연결을 보여준다.
• 경쟁력과 효율성을 평가하기 위해 수치 동화 방법(numerical assimilation) 및 신경망 기반 기준들과 비교 평가한다.

제안 방법

• 픽셀 단위 모션 필드를 추정하는 합성곱-디컨볼루션 네트워크(CDNN)와 다음 SST 이미지를 예측하는 미분가능한 워핑 모듈을 포함하는 2-ком포넌트 모델을 도입한다.
• 이전 픽셀 위치를 중심으로 한 가우시안 기반 커널을 사용하여 마지막 입력 이미지를 왜곡해 I_{t+1}를 얻는다.
• 워핑된 예측과 실제 다음 이미지 간의 차이를 Charbonnier 손실로 최소화하여 엔드투엔드 학습하며, 손실에 모션 필드의 발산/크기/기울기 등의 선택적 정규화 항을 포함한다.
• 어드벡션-디퓨전 방정식: I(x,t) = ∫ k(x-w,y) I0(y) dy with k as a Gaussian kernel를 공식적으로 연결함으로써 물리학에 기반한 아키텍처를 확립한다.
• 예측 이미지를 네트워크에 다시 피드하여 자기회귀 다중 단계 예측을 가능하게 한다.
• 이 접근법이 이동-확산에 의해 지배되는 수송 문제로 일반화되는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 현대의 딥 러닝 기술이 기존의 PDE 기반 방법만큼 복잡한 물리적 수송 현상을 효과적으로 모델링할 수 있는가?
• RQ2 사전 물리 지식을 딥 러닝 아키텍처에 통합하여 SST 예측을 개선할 수 있는가?
• RQ3 학습된 모션 필드와 기저의 대류-확산 역학 간의 관계는 무엇인가?
• RQ4 물리 기반의 미분가능한 워핑 메커니즘이 최신 수치 모델 및 다른 NN 기준선과 SST 예측에서 경쟁력이 있는가?

주요 결과

• 제안된 정규화 모델이 테스트된 모델 중 SST 예측에서 평균 제곱 오차(MSE)가 가장 좋다.
• 모션 필드의 정규화(발산, 크기, 평활화)가 비정규화 버전에 비해 성능을 향상시킨다.
• 정규화 버전은 평균 MSE 1.42, 0.040 s 런타임으로 수치 모델 1.99(4.8 s) 및 다른 NN 기준선보다 우수하다.
• ConvLSTM(MSE 5.76, 0.018 s) 및 ACNN(MSE 15.84, 0.54 s)과 비교할 때 제안 방법이 더 정확하고 여전히 빠르다.
• GAN 기반 기준선(Mathieu et al., 2015)은 4.73 MSE(0.096 s)를 달성하지만 정규화 모델에 비해 열위에 있다.
• 이 접근법은 SST의 대류-확산 역학을 반영하는 해석 가능한 모션 필드를 산출한다.