[논문 리뷰] Applying Convolutional Neural Networks to Data on Unstructured Meshes with Space-Filling Curves

Claire E. Heaney, Yuling Li외 2명|arXiv (Cornell University)|2020. 11. 24.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 공간을 채우는 곡선(SFCs)을 활용해 비구조적 메시의 노드 또는 셀을 1차원 순서로 재정렬함으로써 고전적인 1D 컨volution 신경망(CNNs)을 직접 비구조적 메시 데이터에 적용할 수 있는 새로운 방법을 제안한다. 이 방법은 비구조적 유한요소 메시에서 복잡한 유체역학 해를 정확하게 압축하고 재구성할 수 있게 하며, 구조적 격자에서의 고전적 CNN과 유사한 성능을 유지하면서도 다수의 SFC 및 희소 스무딩 레이어를 통해 강건성을 향상시킨다.

ABSTRACT

This paper presents the first classical Convolutional Neural Network (CNN) that can be applied directly to data from unstructured finite element meshes or control volume grids. CNNs have been hugely influential in the areas of image classification and image compression, both of which typically deal with data on structured grids. Unstructured meshes are frequently used to solve partial differential equations and are particularly suitable for problems that require the mesh to conform to complex geometries or for problems that require variable mesh resolution. Central to the approach are space-filling curves, which traverse the nodes or cells of a mesh tracing out a path that is as short as possible (in terms of numbers of edges) and that visits each node or cell exactly once. The space-filling curves (SFCs) are used to find an ordering of the nodes or cells that can transform multi-dimensional solutions on unstructured meshes into a one-dimensional (1D) representation, to which 1D convolutional layers can then be applied. Although developed in two dimensions, the approach is applicable to higher dimensional problems. To demonstrate the approach, the network we choose is a convolutional autoencoder (CAE) although other types of CNN could be used. The approach is tested by applying CAEs to data sets that have been reordered with an SFC. Sparse layers are used at the input and output of the autoencoder, and the use of multiple SFCs is explored. We compare the accuracy of the SFC-based CAE with that of a classical CAE applied to two idealised problems on structured meshes, and then apply the approach to solutions of flow past a cylinder obtained using the finite-element method and an unstructured mesh.

연구 동기 및 목표

• CFD에서 흔히 사용되는 비구조적 유한요소 또는 통제체적 메시에 고전적인 컨volution 신경망(CNNs)을 직접 적용할 수 있도록 하는 것. 이는 메시의 구조가 없어 기존 CNN과 호환되지 않기 때문이다.
• 보간 기반 또는 그래프 기반 대안의 한계를 극복하기 위해 비구조적 메시 데이터를 공간 국소성과 연결성을 유지하는 1차원 표현으로 변환하는 것.
• 특히 적응형 비구조적 격자에서 라우지에르-스톡스 방정식의 해를 압축하고 재구성하는 데 있어 SFC 기반 CNN의 성능을 평가하는 것.
• 다중 SFC 및 희소 스무딩 레이어의 사용이 자동에코 아키텍처에서 재구성 정확도와 노이즈 감소에 미치는 영향을 조사하는 것.
• 시간에 따라 변화하는, 적응형이며 3차원 문제에 SFC 기반 CNN을 적용할 수 있는 기반을 마련하고, 임의의 전이 학습이나 메시 보간 기법과의 통합 가능성을 탐색하는 것.

제안 방법

• 공간을 채우는 곡선(SFCs)을 사용해 비구조적 메시의 모든 노드 또는 셀을 간선 수를 최소화하고 각 노드를 정확히 한 번씩 방문하는 경로로 순회함으로써 2차원 또는 3차원 메시 데이터를 1차원 순서로 변환한다.
• 다시 정렬된 1차원 데이터는 1D 컨volution 신경망 자동에코(CAE)에 입력되어 비구조적 메시 해에 표준 CNN 레이어를 직접 적용할 수 있도록 한다.
• 대부분의 SFC를 사용해 표현 품질을 향상시키며, 서로 다른 순서가 서로 다른 공간적 특징을 포착할 수 있다는 아이디어를 적용한다.
• 노이즈 감소 및 재구성 정밀도 향상을 위해 자동에코의 입력 및 출력 단에 희소 레이어를 도입한다.
• 구조적 및 비구조적 메시 데이터에서 SFC 기반 CAE의 성능을 고전적 CAE와 비교하여 검증하며, 실린더 뒤의 유동 시뮬레이션을 포함한다.
• 4차원(3차원 공간 + 시간)에 SFC를 적용함으로써 3차원 및 시간에 따라 변화하는 문제로의 확장 가능성을 설계한다.

실험 결과

연구 질문

• RQ1 공간을 채우는 곡선을 사용해 메시를 재정렬함으로써 고전적인 1D CNN을 비구조적 메시 데이터에 효과적으로 적용할 수 있는가?
• RQ2 다수의 SFC를 사용할 경우 자동에코의 재구성 정확도와 강건성은 어떻게 영향을 받는가?
• RQ3 특히 고해상도 영역이나 복잡한 기하학적 구조가 있는 영역에서 SFC 기반 접근법이 비구조적 메시에 적용되었을 때 고전적 CNN과 유사한 재구성 정확도를 유지하는가?
• RQ4 자기에코의 입력 및 출력 근처에 희소 스무딩 레이어를 적용하면 비구조적 메시 데이터의 재구성 품질 향상과 노이즈 감소에 기여하는가?
• RQ5 SFC 기반 CNN 프레임워크는 시간에 따라 변화하는 또는 적응형 메시로 얼마나 잘 확장될 수 있으며, 메시 보간 또는 전이 학습 지원에 어떻게 기여할 수 있는가?

주요 결과

• SFC 기반 CAE는 구조적 메시 데이터에서 고전적 CAE와 유사한 재구성 정확도를 달성하여, 비구조적 격자에 적용된 경우에도 효과성을 입증한다.
• 이 방법은 비구조적 메시에서 최대 50,000개의 변수를 가진 해를 최소 1개의 잠재 변수로 압축하면서도 해의 특징을 유지할 수 있다.
• 두 개의 SFC(SFC2)를 사용할 경우 단일 SFC 사용보다 재구성 정확도가 향상되어, 다수의 순서가 특징 표현을 향상시킨다는 것을 시사한다.
• 입력 및 출력 단에 희소 스무딩 레이어를 적용하면 재구성된 해의 노이즈가 크게 감소하여 정밀도가 향상되며, 모델 복잡도 증가 없이도 성능 향상을 이룬다.
• 상자-수염 그림자(box-and-whisker plots)는 압축 비율이 감소함에 따라 오차 범위가 유의미하게 증가하지 않음을 보여주어 매우 낮은 잠재 차원에서도 안정적인 성능을 유지함을 시사한다.
• 시험 문제의 시간 주기성 덕분에 훈련, 검증, 테스트 세트 모두에서 강건성이 확보되어 일반화 잠재력이 있음을 시사한다.