[논문 리뷰] Rotational and Reflectional Equivariant Convolutional Neural Network for data-limited applications: Multiphase Flow demonstration

B. Siddani, S. Balachandar외 1명|arXiv (Cornell University)|2021. 08. 07.

Model Reduction and Neural Networks참고 문헌 49인용 수 24

한 줄 요약

이 논문은 입자 탑재 유동에서 3차원 회전 및 반사 대칭성을 강제하여 데이터가 부족한 조건에서 일반화 성능을 크게 향상시키는 SE(3)-등변성 컨volution 신경망을 제안한다. 네트워크 아키텍처에 직접 SO(3) 대칭성을 통합함으로써, 표준 CNN이나 데이터 증강 기반 기준보다 더 높은 정확도를 달성하며, 특히 훈련 데이터가 제한된 경우에 유의미하게 우수한 성능을 보이며, 파rameter 수를 줄이고 대칭성 제약을 통해 암묵적인 데이터 증강을 실현한다.

ABSTRACT

This article deals with approximating steady-state particle-resolved fluid flow around a fixed particle of interest under the influence of randomly distributed stationary particles in a dispersed multiphase setup using Convolutional Neural Network (CNN). The considered problem involves rotational symmetry about the mean velocity (streamwise) direction. Thus, this work enforces this symmetry using $\mathbf{ extbf{SE(3)-equivariant}}$, special Euclidean group of dimension 3, CNN architecture, which is translation and three-dimensional rotation equivariant. This study mainly explores the generalization capabilities and benefits of SE(3)-equivariant network. Accurate synthetic flow fields for Reynolds number and particle volume fraction combinations spanning over a range of [86.22, 172.96] and [0.11, 0.45] respectively are produced with careful application of symmetry-aware data-driven approach.

연구 동기 및 목표

• 제한된 훈련 데이터 하에서 데이터 기반 유동 모델링의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 데이터 증강이 아닌 아키텍처 설계를 통해 입자 해상도 다상유동에 내재된 회전 및 반사 대칭성을 강제하기 위해.
• 대칭 인식 신경망이 속도 및 압력장 예측을 더 정확하고 통계적으로 일관성 있게 제공할 수 있음을 입증하기 위해.
• 데이터가 부족한 상황에서 SE(3)-등변성 네트워크가 표준 CNN보다 더 적은 학습 가능 파rameter를 요구하고 일반화 성능이 뛰어나다는 것을 보여주기 위해.
• 다양한 레이놀즈 수와 입자 부피 분율에서 정체된 입자 해상도 직접 수치 시뮬레이션(PR-DNS)을 기반으로 한 방법의 타당성을 검증하기 위해.

제안 방법

• 연구는 3차원 회전 및 반사(소그룹 SO(3))에 대해 등변성이며 이동에 대해 불변인 SE(3)-등변성 컨볼루션 신경망 아키텍처를 사용한다.
• 네트워크는 국소 입자 위치와 유동 매개변수를 입력으로 받아 기준 입자 주변의 전체 속도 및 압력장을 예측하도록 훈련된다.
• 공간 미분(예: 속도 기울기)은 고정 커널을 가진 컨볼루션 레이어로 구현된 두 번째 차수 중심 차분 스텐실을 사용하여 계산된다.
• 손실 함수로는 예측된 유동장과 DNS 기반 추출된 장 사이의 정규화된 평균 제곱 오차(NMSE)와 그 기울기들을 포함한다.
• 대칭성 강제는 네트워크의 중간 레이어에서 SO(3)의 기약 표현을 통해 이루어지며, 이는 유사한 변환 행동을 보장한다.
• 다양한 테스트 케이스에서 표준 3D CNN 및 회전/반사된 훈련 샘플을 포함한 데이터 증강 CNN과 모델을 비교한다.

실험 결과

연구 질문

• RQ1 SE(3)-등변성 컨볼루션 신경망이 데이터가 제한된 조건에서 표준 및 데이터 증강 CNN보다 유동장 예측 성능이 뛰어나다는가?
• RQ2 아키텍처 수준에서의 회전 및 반사 대칭성 강제가 예측의 통계적 일관성에 얼마나 기여하는가?
• RQ3 훈련 데이터가 부족한 상황에서 대칭성 강제가 데이터 기반 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 입력이 기준 축 기준으로 약간 기울여진 상태여도 SE(3)-CNN이 예측된 유동장에서 대칭 성질을 유지하는가?
• RQ5 SE(3)-CNN은 표준 CNN보다 더 적은 학습 가능 파rameter로도 높은 정확도를 달성할 수 있는가?

주요 결과

• SE(3)-CNN은 모든 테스트 케이스에서 유동장 구성요소(속도 기울기 포함)에 대해 가장 낮은 정규화된 평균 제곱 오차(NMSE)를 기록했다.
• 케이스-1에서 ∂p′/∂x의 NMSE는 SE(3)-CNN이 0.2272로, 데이터 증강 및 단순 CNN보다 각각 0.2549 및 0.2593이었다.
• SE(3)-CNN 하에서 횡방향 기울기 ∂p′/∂y 및 ∂p′/∂z의 NMSE는 거의 동일한 값(0.3277 및 0.3276)을 보이며 강력한 통계적 대칭성 유지가 확인되었다.
• 낮은 데이터 환경(20개 미만의 훈련 샘플)에서 SE(3)-CNN은 대칭 일관성 예측을 유지했지만, 데이터 증강 및 단순 CNN은 유의미하게 높은 대칭 오차를 보였다.
• SE(3)-CNN은 대칭 제약을 통한 암묵적 데이터 증강 덕분에 데이터가 부족한 상황에서도 뛰어난 일반화 성능을 보이며 높은 정확도를 달성했다.
• 모델의 중간 레이어는 자연스럽게 기약 SO(3) 표현을 나타내어 해석 가능하고 물리적으로 일관된 유동 예측이 가능하다.