[논문 리뷰] Discretization-independent surrogate modeling over complex geometries using hypernetworks and implicit representations

James Duvall, Karthik Duraisamy외 1명|arXiv (Cornell University)|2021. 09. 14.

Advanced Multi-Objective Optimization Algorithms인용 수 8

한 줄 요약

이 논문은 복잡한 기하 구조에서 편미분방정식(PDE) 해를 위한 이산화에 의존하지 않는 대체 모델을 하이퍼넷워크와 암묵적 표현을 사용하여 제안한다. 기하 구조는 최소거리 함수로 표현하고 설계 변수를 하이퍼넷워크의 입력으로 간주함으로써, 임의의 메시에서 연속적이고 점별 예측이 가능해진다. 설계 변수 기반 하이퍼넷워크(DV-Hnet)는 특히 3–10%의 상대 오차로 항공기 유동 예측에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Numerical solutions of partial differential equations (PDEs) require expensive simulations, limiting their application in design optimization, model-based control, and large-scale inverse problems. Surrogate modeling techniques seek to decrease the computational expense while retaining dominant solution features and behavior. Traditional Convolutional Neural Network-based frameworks for surrogate modeling require lossy pixelization and data-preprocessing, and generally are not effective in realistic engineering applications. We propose alternative deep-learning based surrogate models for discretization-independent, continuous representations of PDE solutions, which can be used for learning and prediction over domains with complex, variable geometry and mesh topology. Three methods are proposed and compared; design-variable-coded multi-layer perceptron (DV-MLP), design-variable hypernetworks (DV-Hnet), and non-linear independent dual system (NIDS). Each method utilizes a main network which consumes pointwise spatial information to provide a continuous representation, allowing predictions at any location in the domain. Input features include a minimum-distance function evaluation to implicitly encode the problem geometry. The geometric design variables, which define and distinguish problem instances, are used differently by each method, appearing as additional main-network input features (DV-MLP), or as hypernetwork inputs (DV-Hnet and NIDS). The methods are applied to predict solutions around complex, parametrically-defined geometries on non-parametrically-defined meshes with model predictions obtained many orders of magnitude faster than the full order models. Test cases include a vehicle-aerodynamics problem with complex geometry and limited training data, with a design-variable hypernetwork performing best, with a competitive time-to-best-model despite a much greater parameter count.

연구 동기 및 목표

• 엔지니어링 설계 및 최적화에서 고정밀도 PDE 시뮬레이션의 계산적 병목 현상을 해결한다.
• 고정 메시가 필요하고 메시 기반 전처리에 취약한 기존의 CNN 기반 대체 모델의 한계를 극복한다.
• 기하 구조가 변하는 도메인과 임의의 메시 구조에서 PDE 해장 예측을 정확하고 연속적으로 가능하게 한다.
• 모델 크기와 메모리가 해장의 자유도와 분리된 프레임워크를 개발하여 확장 가능하고 일반화 가능한 추론을 지원한다.
• 제한된 훈련 데이터로도 복잡한 실제 응용 분야, 예를 들어 차량 항공역학에서 뛰어난 성능을 입증한다.

제안 방법

• 공간 각 점에서 평가된 최소거리 함수(MDF)를 사용해 메시 의존성 없이 복잡한 기하 구조를 암묵적으로 표현한다.
• 공간 좌표와 MDF 값의 입력 특징을 사용해 주 신경망이 PDE 해를 예측하도록 훈련시킨다.
• 세 가지 아키텍처를 도입한다: DV-MLP(설계 변수를 직접 입력), DV-Hnet(설계 변수를 하이퍼넷워크 입력으로 사용해 주 네트워크 가중치 생성), NIDS(하이퍼넷워크가 오직 출력층 가중치만 생성).
• 설계 변수에 조건부로 모델 파라미터를 생성하기 위해 하이퍼넷워크를 활용해 기하 변화에 대한 일반화를 가능하게 한다.
• 기본 PDE 연산자에 대한 명시적 참조 없이 FOM 해를 레이블로 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 하이퍼넷워크의 훈련 불안정성을 완화하면서도 빠른 수렴을 유지하기 위해 혼합 정밀도 훈련을 사용한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 기반 대체 모델은 메시 의존성 없이 복잡하고 매개변수로 변화하는 기하 구조에서 PDE 해를 정확하고 연속적으로 예측할 수 있는가?
• RQ2 설계 변수를 직접 입력하는 것과 하이퍼넷워크 기반 파라미터 생성 방식의 아키텍처 선택이 모델 정확도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 최소거리 함수를 통한 암묵적 기하 표현이 대체 모델링에서 명시적 메시 표현을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 차량 항공역학과 같은 고차원 복잡한 엔지니어링 문제에서 제한된 훈련 데이터로 모델 성능이 어떻게 스케일링되는가?
• RQ5 하이퍼넷워크 기반 PDE 대체 모델링에서 정확도, 파라미터 수, 훈련 시간 간의 상충 관계는 어떠한가?

주요 결과

• 2D RANS 항공기 흐름 문제에서 DV-MLP와 NIDS에 비해 약 2배 낮은 RMSE와 MAE를 기록한 설계 변수 기반 하이퍼넷워크(DV-Hnet)가 가장 낮은 오차 지표를 달성했다.
• 매우 더 많은 파라미터를 가졌음에도 불구하고 DV-Hnet는 더 적은 에포크 수로 수렴하여 다른 방법들에 비해 훨씬 빠른 최적 모델 도달 시간을 기록했다.
• 압력장 예측 오차는 약 4%, x-속도는 3%, y-속도는 10% 이상의 FOM 해에 비해 낮았으며, 주요 유동 특징은 잘 포착되었다.
• 모든 모델이 새로운 기하 구조로의 일반화가 잘 되었으며, 2D 포아송 문제에서 훈련 및 검증 RMSE는 약 0.2, MAE는 약 0.1로, 평균 상대 오차 약 0.1%에 해당했다.
• 삼각형 기하 구조에서는 오차가 더 높았는데, 이는 설계 변수 표현이 부족하고 MDF가 날카로운 모서리를 잘 포착하지 못하기 때문일 것이다.
• 선형 프로브와 등고선도 분석을 통해 예측에 경미한 진동이 존재하는 것으로 나타났지만, 예측값과 FOM 해 간의 시각적 차이는 일반적으로 작고 눈에 띄지 않았다.