[논문 리뷰] Scaling up Deep Learning for PDE-based Models

Philipp Haehnel, Jakub Mareček외 2명|arXiv (Cornell University)|2018. 09. 27.

Hydrological Forecasting Using AI참고 문헌 53인용 수 2

한 줄 요약

이 논문은 소규모 영역에서 PDE 해석기로 딥러닝 모델을 훈련한 후, 경계에서 일致성 제약 조건을 적용하여 더 큰 영역으로 확장함으로써 물리적으로 의미 있는 해를 보장하는 방법을 제안한다. 이 방법은 훈련 데이터가 소규모 공간 영역으로 제한되어 있을 때조차도 아일랜드 더블린의 대기오염 예측을 정확하게 수행할 수 있게 한다.

ABSTRACT

In numerous applications, forecasting relies on numerical solvers for partial differential equations (PDEs). Although the use of deep-learning techniques has been proposed, the uses have been restricted by the fact the training data are obtained using PDE solvers. Thereby, the uses were limited to domains, where the PDE solver was applicable, but no further. We present methods for training on small domains, while applying the trained models on larger domains, with consistency constraints ensuring the solutions are physically meaningful even at the boundary of the small domains. We demonstrate the results on an air-pollution forecasting model for Dublin, Ireland.

연구 동기 및 목표

• PDE 기반 예측에서 딥러닝 모델의 한계를 해결한다. 일반적으로 PDE 해석기가 계산적으로 가능성이 있는 동일한 도메인에 국한되어 있다.
• 훈련된 모델을 작은 훈련 도메인에서 더 큰 실제 도메인으로 확장할 때 물리적 일致성을 유지하지 못하는 문제를 해결한다.
• 모델을 확장할 때 경계에서 해가 물리적으로 타당한지 보장한다.
• 이 방법의 실현 가능성과 정확성을 실제 응용 사례인 아일랜드 더블린의 대기오염 예측에서 입증한다.

제안 방법

• PDE 해석기의 수치 해를 사용하여 계산적으로 다룰 수 있는 작은 도메인에서 딥러닝 모델을 훈련한다.
• 소규모 도메인의 경계에서 일치성 제약 조건을 적용하여 모델 예측이 더 큰 도메인으로 확장될 때 물리적으로 타당한 유지되도록 보장한다.
• 훈련 중에 일치성 제약 조건을 사용하여 예측이 PDE 기반 물리 법칙과 일치하도록 모델을 정규화한다.
• 경계 일치성 조건을 강제하여 훈련된 모델을 더 큰 도메인으로 이식함으로써 원래 훈련 영역을 초월한 일반화를 가능하게 한다.
• 학습된 표현을 활용하여 전체 도메인에 대해 재훈련 없이도 정확한 장거리 예측을 수행한다.

실험 결과

연구 질문

• RQ1 소규모 도메인에서 훈련된 딥러닝 모델이 물리적 일치성을 유지하면서 더 큰 도메인으로 효과적으로 확장될 수 있는가?
• RQ2 도메인 경계에서의 일치성 제약 조건이 PDE 기반 예측에서 모델 예측의 신뢰성에 어떻게 기여하는가?
• RQ3 이 방법은 실제 응용에서 대규모 PDE 해석기 계산의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 이 방법은 대기오염 예측과 같은 실제 환경 예측 과제에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 소규모 도메인에서의 훈련과 더 큰 도메인에서의 배포를 성공적으로 가능하게 하며, 해가 물리적으로 타당함을 유지한다.
• 도메인 경계에서의 일치성 제약 조건이 확장된 영역에서의 예측 정확도와 신뢰성을 크게 향상시킨다.
• 모델은 더 작은 공간 하위집합에서 훈련되었음에도 불구하고 아일랜드 더블린의 대기오염 예측을 정확하게 수행한다.
• 학습된 확장 가능한 표현을 활용하여 대규모 도메인에서 계산 비용이 큰 PDE 해석기의 의존도를 줄인다.