[논문 리뷰] Non-linear Independent Dual System (NIDS) for Discretization-independent Surrogate Modeling over Complex Geometries.

James Duvall, Karthik Duraisamy외 1명|arXiv (Cornell University)|2021. 09. 14.

Model Reduction and Neural Networks참고 문헌 28인용 수 5

한 줄 요약

이 논문은 복잡하고 가변적인 기하구조에서 손실 없는 픽셀화 없이 편미분방정식(PDE)의 해를 예측하는 디지털화 독립적 딥러닝 서rogate 모델인 비선형 독립 이중 시스템(NIDS)을 제안한다. 은닉 신경 표현을 사용함으로써, NIDS는 사례별 매개변수 및 점별 공간 네트워크를 결합하고 비선형적이고 독립적인 이중 출력층 및 최소 거리 함수 인코딩을 통해 비정규격 메esh에서 빠르고 정확한 PDE 해 예측을 가능하게 한다. 이로 인해 전체 순서 모델 대비 수십 개의 주기 수준에서의 가속화를 달성한다.

ABSTRACT

Numerical solutions of partial differential equations (PDEs) require expensive simulations, limiting their application in design optimization routines, model-based control, or solution of large-scale inverse problems. Existing Convolutional Neural Network-based frameworks for surrogate modeling require lossy pixelization and data-preprocessing, which is not suitable for realistic engineering applications. Therefore, we propose non-linear independent dual system (NIDS), which is a deep learning surrogate model for discretization-independent, continuous representation of PDE solutions, and can be used for prediction over domains with complex, variable geometries and mesh topologies. NIDS leverages implicit neural representations to develop a non-linear mapping between problem parameters and spatial coordinates to state predictions by combining evaluations of a case-wise parameter network and a point-wise spatial network in a linear output layer. The input features of the spatial network include physical coordinates augmented by a minimum distance function evaluation to implicitly encode the problem geometry. The form of the overall output layer induces a dual system, where each term in the map is non-linear and independent. Further, we propose a minimum distance function-driven weighted sum of NIDS models using a shared parameter network to enforce boundary conditions by construction under certain restrictions. The framework is applied to predict solutions around complex, parametrically-defined geometries on non-parametrically-defined meshes with solutions obtained many orders of magnitude faster than the full order models. Test cases include a vehicle aerodynamics problem with complex geometry and data scarcity, enabled by a training method in which more cases are gradually added as training progresses.

연구 동기 및 목표

• 기존의 CNN 기반 서rogate 모델이 손실 있는 픽셀화 및 사전 처리에 의존함으로써 실세계 공학적 응용에 제약을 받는 문제를 해결하기 위해.
• 메쉬 디지털화에 독립적이고 복잡한 매개변수 기반 기하구조를 가진 가변 메쉬 구조를 다룰 수 있는 서rogate 모델링 프레임워크를 개발하기 위해.
• 비구조적이고 비매개변수적 메쉬에서 PDE 해를 정확하게 예측하면서 경계 조건을 구조적으로 강제하기 위해.
• 비용이 많이 드는 전체 순서 PDE 해석기 대신 빠르고 일반화 가능한 딥러닝 서rogate 모델을 사용하여 설계 최적화, 제어 및 역문제의 계산 비용을 줄이기 위해.

제안 방법

• NIDS는 사례별 매개변수 네트워크와 점별 공간 네트워크를 갖춘 이중 네트워크 아키텍처를 사용하며, 그 출력은 선형 출력층 내에서 비선형적이고 독립적인 맵핑을 통해 조합된다.
• 공간 네트워크는 물리적 좌표와 최소 거리 함수를 입력으로 받아, 명시적인 메쉬 표현 없이도 복잡한 기하구조를 은닉적으로 인코딩할 수 있다.
• 이중 시스템 구조는 출력 맵의 각 구성 요소가 비선형적이고 독립적이게 하여 표현 능력과 일반화 능력을 향상시킨다.
• 경계 조건은 최소 거리 함수 기반 가중치 합을 통해 공유 매개변수 네트워크를 사용하여 구조적으로 강제된다.
• 모델은 훈련 중에 점진적으로 새로운 사례를 추가함으로써 데이터 부족 상황에서도 훈련이 가능하며, 저데이터 환경에서의 일반화 능력을 향상시킨다.
• 모델은 비정규격 메쉬에서 종단 간 훈련이 가능하여 다양한 메쉬 구조로의 디지털화 독립적 추론이 가능하다.

실험 결과

연구 질문

• RQ1 메쉬나 픽셀화 제약 없이 복잡하고 가변적인 기하구조에서 딥러닝 서rogate 모델이 PDE 해를 정확하게 예측할 수 있는가?
• RQ2 후처리 또는 손실 페널티에 의존하지 않고 신경망 기반 PDE 서rogate 모델에서 경계 조건을 구조적으로 강제할 수 있는가?
• RQ3 다양한 메쉬 구조와 디지털화 방식으로 일반화할 수 있는 정도는 어느 정도이며, 높은 정확도를 유지할 수 있는가?
• RQ4 데이터가 부족한 상황에서도 전체 순서 PDE 해석기 대비 상당한 가속화를 달성할 수 있는가?
• RQ5 최소 거리 함수의 사용이 PDE에 대한 은닉 신경 표현에서 기하학적 일반화를 어떻게 향상시키는가?

주요 결과

• NIDS는 전체 순서 PDE 해석기 대비 수십 개의 주기 수준에서 해 예측 속도가 빠르게, 실시간 또는 거의 실시간 응용이 가능하다.
• 제한된 훈련 데이터로도 차량 항공역학과 같은 복잡한 매개변수 기반 기하구조에서 PDE 해를 정확하게 예측하는 데 성공했다.
• 가중치 합 메커니즘을 통해 경계 조건이 구조적으로 강제되어 추가 손실 항목 없이 오차를 줄이고 안정성을 향상시켰다.
• 최소 거리 함수의 사용은 은닉 기하 구조 인코딩을 가능하게 하여, 재학습 없이도 다양한 메쉬 구조로의 일반화를 가능하게 했다.
• 훈련 중 점진적인 사례 추가는 데이터가 적은 환경에서의 모델 일반화 능력을 향상시켜, 예상치 못한 기하구조에서의 성능을 향상시켰다.
• 비선형 독립성의 출력 구성 요소를 가진 이중 시스템 아키텍처는 표준 피드포워드 네트워크보다 표현 능력과 예측 정확도를 향상시켰다.