[논문 리뷰] Frame-independent vector-cloud neural network for nonlocal constitutive modeling on arbitrary grids

Xu‐Hui Zhou, Jiequn Han외 1명|arXiv (Cornell University)|2021. 03. 11.

Model Reduction and Neural Networks참고 문헌 87인용 수 27

한 줄 요약

이 논문은 영역에 관계없이 적용 가능한 격자에서 비국소 구성 모델링을 위한 프레임에 의존하지 않는 벡터 클라우드 신경망을 제안한다. 대칭성 불변 아키텍처를 사용하여 이동, 회전 및 점 순서에 대해 불변성을 보장한다. 이 방법은 비정규 격자에서 PDE의 데이터 기반 폐쇄 모델링을 위해 강건하고 효과적으로 구현되며, 주기적 언덕 기하구조에서 스칼라 운반 문제에 대해 높은 정확도를 보이며 일반화 능력과 계산 효율성이 뛰어나다.

ABSTRACT

Constitutive models are widely used for modeling complex systems in science and engineering, where first-principle-based, well-resolved simulations are often prohibitively expensive. For example, in fluid dynamics, constitutive models are required to describe nonlocal, unresolved physics such as turbulence and laminar-turbulent transition. However, traditional constitutive models based on partial differential equations (PDEs) often lack robustness and are too rigid to accommodate diverse calibration datasets. We propose a frame-independent, nonlocal constitutive model based on a vector-cloud neural network that can be learned with data. The model predicts the closure variable at a point based on the flow information in its neighborhood. Such nonlocal information is represented by a group of points, each having a feature vector attached to it, and thus the input is referred to as vector cloud. The cloud is mapped to the closure variable through a frame-independent neural network, invariant both to coordinate translation and rotation and to the ordering of points in the cloud. As such, the network can deal with any number of arbitrarily arranged grid points and thus is suitable for unstructured meshes in fluid simulations. The merits of the proposed network are demonstrated for scalar transport PDEs on a family of parameterized periodic hill geometries. The vector-cloud neural network is a promising tool not only as nonlocal constitutive models and but also as general surrogate models for PDEs on irregular domains.

연구 동기 및 목표

• 다양한 캘리브레이션 데이터셋에 강건하고 비정규 격자에 적용 가능한 비국소적, 데이터 기반 구성 모델을 개발하기 위해.
• 물리 시스템 기반의 신경망 구성 모델링에서 좌표계 변환(이동, 회전, 갈릴레오 변환)에 대해 불변성을 확보하기 위해.
• 난류 및 대류 효과와 같은 비국소 물리 현상을 포착하는 벡터 클라우드 표현을 사용해 영역에서 점으로의 매핑을 가능하게 하기 위해.
• 복잡한 유동 영역에서 적용하기 어려운 전통적인 PDE 기반 폐쇄 모델의 경직성과 캘리브레이션 어려움을 해결하기 위해.
• 비정규 영역에서 PDE의 일반 목적의 서브스티튜트 모델을 만들기 위해. 이 모델은 이웃 영역 크기와 선형적인 계산 복잡도를 가진다.

제안 방법

• 목표 점 주변의 점 집합과 관련된 특징 벡터(좌표, 속도, 스칼라 양)를 사용해 비국소 유동 정보를 벡터 클라우드로 표현한다.
• 이동 및 회전에 대한 불변성을 확보하기 위해, G⊤QQ⊤G⋆의 조합을 통해 불변 특징 행렬 D를 구성한다. 여기서 G는 스칼라 특징의 임bedding이고, Q는 입력 데이터 행렬이다.
• 스칼라 특징 ci를 m차원 벡터로 매핑하기 위해 임베딩 네트워크를 사용한다. 이는 점 간 공통된 처리를 통해 불변성을 보장한다.
• 불변 특징 행렬 D ∈ ℝ^{m×m′}에 대해 피팅 네트워크(완전 연결)를 적용하여 목표 점에서의 폐쇄 변수 τ를 예측한다.
• 점 순서에 독립성을 확보하기 위해 대칭적 집계(예: 점 인덱스 평균화)를 통해 순열 불변성을 강제한다.
• Adam 옵timizer를 사용해 2000 에포크, 배치 크기 1024, 학습률 감소 전략(매 600 에포크마다 요인 0.7)으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 좌표계 변환(이동, 회전, 갈릴레오 변환)에 대해 불변하면서도 물리적 일관성을 유지하는 구성 모델을 위한 딥 러닝 모델을 개발할 수 있는가?
• RQ2 비정규 격자에서 신경망을 사용해 비국소적 영역-점 매핑을 효과적으로 모델링할 수 있는가?
• RQ3 데이터 기반의, 좌표계에 불변인 신경망이 다양한 흐름 구성과 매개변수화된 기하구조에 대해 일반화할 수 있는가?
• RQ4 벡터 클라우드 표현에서 점 순서와 좌표계 선택에 대해 불변성을 확보하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ5 제안된 모델이 복잡한 비주기적 흐름 영역에서 기존의 PDE 기반 폐쇄 모델에 비해 정확도와 강건성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 벡터 클라우드 신경망은 불변 연산의 조합을 통해 좌표계의 이동, 회전, 점 순서에 대해 불변성을 확보한다.
• 모델은 다양한 격자 품질과 흐름 조건에서도 매개변수화된 주기적 언덕 기하구조에서 스칼라 운반 PDE의 폐쇄 변수 예측에 높은 정확도를 보였다.
• 클라우드에 포함된 점의 수에 대해 선형 계산 복잡도를 보이며, 큰 이웃 영역에서도 효율적인 추론이 가능하다.
• 불변 특징 행렬 D를 통해 공간 상관관계를 인코딩함으로써 모델은 비국소 물리 현상(예: 대류 및 확산 효과)을 성공적으로 학습하였다.
• 다양한 매개변수화된 흐름 구성에 대해 잘 일반화되며, 비정규 영역에서 PDE의 서브스티튜트로 강력한 잠재력을 보였다.
• 학습 과정은 학습률 스케줄링 덕분에 안정적으로 수렴하였고, 여러 런과 기하구조에서 일관된 성능을 달성하였다.