[논문 리뷰] Train Once and Use Forever: Solving Boundary Value Problems in Unseen Domains with Pre-trained Deep Learning Models.

Hengjie Wang, Robert Planas외 2명|arXiv (Cornell University)|2021. 04. 22.

Model Reduction and Neural Networks참고 문헌 38인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 유전자 흐름 네트워크(GFNet)와 모자이크 흐름(MF) 스티칭 알고리즘을 활용하여, 재훈련 없이도 크기, 형태, 경계 조건이 임의인 새로운 도메인에서 경계값 문제(BVPs)를 해결할 수 있는 일회성 훈련을 거친 딥러닝 프레임워크, GFNet-MF를 제안한다. 이 프레임워크는 새로운 도메인에 대해 재훈련이 필요 없기 때문에 최신 PINNs보다 최대 3개 지수 차수 빠른 추론 속도를 달성하며, 훈련 도메인보다 최대 1200배 크기의 도메인에서 라플라스 및 나비에-스토크스 방정식에 대해 정확한 해를 보여준다.

ABSTRACT

Physics-informed neural networks (PINNs) are increasingly employed to replace/augment traditional numerical methods in solving partial differential equations (PDEs). While having many attractive features, state-of-the-art PINNs surrogate a specific realization of a PDE system and hence are problem-specific. That is, each time the boundary conditions and domain shape change, the model needs to be re-trained. This limitation prohibits the application of PINNs in realistic or large-scale engineering problems especially since the costs and efforts associated with their training are considerable. This paper introduces a transferable framework for solving boundary value problems (BVPs) via deep neural networks which can be trained once and used forever for various domains of unseen sizes, shapes, and boundary conditions. First, we introduce \emph{genomic flow network} (GFNet), a neural network that can infer the solution of a BVP across arbitrary boundary conditions on a small square domain called \emph{genome}. Then, we propose \emph{mosaic flow} (MF) predictor, a novel iterative algorithm that assembles or stitches the GFNet's inferences to obtain the solution of BVPs on unseen, large domains while preserving the spatial regularity of the solution. We demonstrate that our framework can estimate the solution of Laplace and Navier-Stokes equations in domains of unseen shapes and boundary conditions that are, respectively, $1200$ and $12$ times larger than the domains where training is performed. Since our framework eliminates the need to re-train, it demonstrates up to 3 orders of magnitude speedups compared to the state-of-the-art.

연구 동기 및 목표

• 모든 새로운 도메인, 경계 조건, 형태에 대해 재훈련이 필요한 물리 기반 신경망(PINNs)의 한계를 극복하기 위해.
• 추가 훈련 없이도 임의의 크기와 기하학적 형태를 가진 새로운 도메인으로 일반화할 수 있는 이식 가능한 딥러닝 프레임워크를 개발하기 위해.
• 재훈련이 비현실적인 대규모 공학 응용 분야에서 편미분방정식(PDEs)의 빠르고 스케일링 가능하며 정확한 해를 도출하기 위해.
• 소규모 사전 훈련된 도메인에서부터 대규모 새로운 도메인으로 해를 외삽할 때 공간 정규성과 해의 정밀도를 유지하기 위해.

제안 방법

• 소규모 정사각형 도메인에서 한 번만 훈련된 깊은 신경망인 유전자 흐름 네트워크(GFNet)를 도입하여, 모든 가능한 경계 조건에서 BVP의 해를 추론한다.
• GFNet의 예측치를 겹치는 패치들 간에 스티칭하여 대규모 새로운 도메인의 해를 재구성하는 반복적 알고리즘인 모자이크 흐름(MF) 예측기 설계.
• 접한 패치들 간의 일致성 제약 조건을 강제하여 최종 해의 공간 정규성을 확보한다.
• 공간 위치와 경계 조건을 입력으로 사용할 수 있도록 좌표 기반 신경 표현을 사용하여 GFNet에 통합함으로써 다양한 구성에 대한 일반화를 가능하게 한다.
• 소규모 기준 도메인 내에서 다양한 경계 조건과 도메인 기하학적 형태의 분포를 훈련하여 GFNet의 일반화 능력을 극대화한다.
• MF 알고리즘을 굵기에서 세밀함으로 향하는 방식으로 적용하여, 국소 GFNet 추론과 일치성 강제를 반복적으로 사용해 대규모 도메인 전체에서 해를 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 한 번의 작은 도메인에서 훈련된 딥러닝 모델이 재훈련 없이도 크기와 형태가 극명하게 다른 도메인에서 BVP를 해결할 수 있는가?
• RQ2 사전 훈련된 모델의 국소 예측치를 대규모 새로운 도메인에 걸쳐 스티칭할 때 공간 정규성과 해의 일관성을 어떻게 유지할 수 있는가?
• RQ3 일회성 훈련 모델이 재훈련 기반 PINNs에 비해 새로운 PDE 문제의 추론 속도와 정확도 측면에서 어느 정도 뛰어나게 되는가?
• RQ4 복잡한 PDE인 나비에-스토크스 방정식을 대규모 도메인에서 해를 구할 때 이 프레임워크가 높은 정확도를 유지할 수 있는가?
• RQ5 이 프레임워크는 해의 정밀도를 유지하면서 처리할 수 있는 최대 도메인 크기와 복잡도는 어느 정도인가?

주요 결과

• 제안된 GFNet-MF 프레임워크는 훈련 도메인보다 최대 1200배 큰 도메인에서 라플라스 및 나비에-스토크스 방정식에 대해 정확한 해를 도출한다.
• 나비에-스토크스 문제의 경우, 훈련 도메인보다 12배 큰 도메인을 재훈련 없이도 성공적으로 해결한다.
• 최신 PINNs에 비해 추론 시간을 최대 3개 지수 차수(1000배 빠름)로 단축시켰으며, 이는 각 새로운 문제에 대해 재훈련이 필요하기 때문이다.
• 모자이크 흐름 알고리즘이 강제하는 일관성으로 인해 스티칭된 패치들 간에 높은 공간 정규성과 일관성이 유지된다.
• 다양한 경계 조건과 도메인 형태로 일반화되며, 훈련 분포를 초월한 강건성을 입증한다.
• 사전 훈련된 GFNet은 기준 도메인 내에서 새로운 경계 조건에서도 높은 정확도를 달성하여 일반화 능력의 타당성을 검증한다.