[논문 리뷰] Weakly-Supervised Deep Learning of Heat Transport via Physics Informed Loss

Rishi Sharma, Amir Barati Farimani외 3명|arXiv (Cornell University)|2018. 07. 24.

Model Reduction and Neural Networks참고 문헌 20인용 수 30

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하고도 물리적 제약 조건을 PDE에 통합함으로써 2D 열 방정식을 해결하도록 컨볼루션 신경망을 훈련시키는 약한 지도 학습 기반의 딥러닝 접근법을 제안한다. 국소 평형 조건(각 점이 이웃 점들의 평균과 같아야 함)을 강제하는 학습 가능한 컨볼루션 커널을 갖는 물리 기반 손실 함수를 설계함으로써, 1024×1024 열 분포 문제에서 1.5% 미만의 오차를 달성하고, 신경망 웜스타트를 통해 유한 차분 해법기를 가속화한다.

ABSTRACT

In typical machine learning tasks and applications, it is necessary to obtain or create large labeled datasets in order to to achieve high performance. Unfortunately, large labeled datasets are not always available and can be expensive to source, creating a bottleneck towards more widely applicable machine learning. The paradigm of weak supervision offers an alternative that allows for integration of domain-specific knowledge by enforcing constraints that a correct solution to the learning problem will obey over the output space. In this work, we explore the application of this paradigm to 2-D physical systems governed by non-linear differential equations. We demonstrate that knowledge of the partial differential equations governing a system can be encoded into the loss function of a neural network via an appropriately chosen convolutional kernel. We demonstrate this by showing that the steady-state solution to the 2-D heat equation can be learned directly from initial conditions by a convolutional neural network, in the absence of labeled training data. We also extend recent work in the progressive growing of fully convolutional networks to achieve high accuracy (< 1.5% error) at multiple scales of the heat-flow problem, including at the very large scale (1024x1024). Finally, we demonstrate that this method can be used to speed up exact calculation of the solution to the differential equations via finite difference.

연구 동기 및 목표

• 딥러닝에서 대규모 레이블 데이터셋에 대한 의존도를 줄이기 위해 물리 법칙을 약한 지도 학습으로 활용하는 것.
• 모든 지표 데이터 없이도 신경망이 2D 열 방정식의 정적인 해를 학습할 수 있도록 하는 것.
• 데이터에서만 학습 가능한 컨볼루션 커널을 통해 물리 시스템을 지배하는 기초 PDE를 발견할 수 있음을 보여주는 것.
• 훈련된 신경망을 초기화를 위한 웜스타트로 사용하여 유한 차분 해법기를 가속화하는 것.
• 물리 기반 제약 조건을 적용하여 1024×1024까지의 고해상도 물리 시뮬레이션에 대해 완전히 컨볼루션 기반의 점진적 성장 기법을 확장하는 것.

제안 방법

• 학습 가능한 컨볼루션 커널을 사용하여 2D 열 방정식의 이산 형태를 표현하는 물리 기반 손실 함수를 설계한다.
• 3×3 컨볼루션 커널을 사용하여 국소 평형 규칙을 강제한다: 각 픽셀의 값은 그 네 이웃의 평균과 같아야 한다.
• Adam 최적화를 통해 이미지 전역에서 커널 출력의 절대값을 최소화하도록 네트워크를 훈련시켜, PDE 제약 조건에서의 편차를 효과적으로 최소화한다.
• 모델을 고해상도 1024×1024 열 분포 문제에까지 확장하기 위해 완전히 컨볼루션 기반의 점진적 성장 기법을 적용한다.
• 훈련된 신경망의 출력을 유한 차분 해법기의 초기 추측값으로 사용하여 수렴 시간을 단축시킨다.
• 고정밀 지표 데이터와의 비교를 통해 유한 차분 해법기에서 오차 수렴 특성을 검증한다.

실험 결과

연구 질문

• RQ1 물리 제약 조건만을 강제함으로써 레이블이 전혀 없는 데이터로도 딥 뉴럴 네트워크가 2D 열 방정식의 정적인 해를 학습할 수 있는가?
• RQ2 학습 가능한 컨볼루션 커널이 데이터만으로도 열 방정식을 정의하는 국소 규칙(예: 이웃의 평균)을 발견할 수 있는가?
• RQ3 표준 초기화 전략 대비 물리 기반 신경망이 유한 차분 해법기를 얼마나 빠르게 가속화할 수 있는가?
• RQ4 완전히 컨볼루션 기반의 점진적 성장 기법을 사용할 때, 고해상도 물리 시뮬레이션(예: 1024×1024)에 이 방법이 얼마나 잘 스케일링되는가?
• RQ5 데이터에서 물리적 시스템의 지배 방정식을 PDE 제약 조건을 통한 약한 지도 학습을 통해 발견하는 것은 가능한가?

주요 결과

• 모델은 레이블이 없는 데이터와 물리 기반 손실 함수만을 사용하여 1024×1024 열 분포 문제에서 픽셀당 평균 오차가 1.5% 미만임을 달성한다.
• 학습된 컨볼루션 커널은 2D 열 방정식에 대한 이상적인 3×3 커널(예: 중심 -0.2181, 이웃 0.0545)에 매우 가까운 값을 근사함으로써, 기초 PDE 규칙의 성공적인 발견을 보여준다.
• 신경망 출력을 웜스타트로 사용할 경우, 유한 차분 해법기가 수렴하기 위해 필요한 반복 수를 줄여주며, 일정한 초기화 전략보다 과정을 크게 가속화한다.
• 완전히 컨볼루션 기반의 점진적 성장 기법을 사용하여 고해상도 문제(1024×1024)에 성공적으로 스케일링되었고, 높은 정확도를 유지한다.
• 레이블이 없는 데이터로도 물리 제약 조건을 손실 함수에 강제 적용함으로써 PDE를 해결하는 데 있어 끝에서 끝까지 훈련 가능한 신경망을 구현할 수 있다.
• 신경망 출력을 초기값으로 사용한 유한 차분 해법기는 기준 초기화 전략 대비 각 반복 단계에서 더 빠른 수렴 속도와 더 낮은 오차를 보이며, 고정밀 지표 데이터와의 비교를 통해 이를 확인했다.