[논문 리뷰] Model order reduction with neural networks: Application to laminar and turbulent flows

Kai Fukami, Kazuto Hasegawa외 3명|arXiv (Cornell University)|2020. 11. 20.

Model Reduction and Neural Networks참고 문헌 120인용 수 71

한 줄 요약

이 연구는 유체역학에서 차원 축소를 위한 혼합 오토인코더(AE)의 성능을 평가한다. 이 AE는 합성곱 신경망(CNNs)과 다층 퍼셉트론(MLPs)을 조합한 것으로, 잠재 차원, 활성화 함수, 모델 크기 등의 초매개변수에 매우 민감한 성능을 보이며, 난류 및 난류 흐름 간에 최적의 설정이 크게 다름을 입증한다. 이는 흐름 유형에 맞는 특화된 캘리브레이션의 필요성을 강조하며, 복잡한 유체 시스템에서 강력한 데이터 기반 저차원 모델링을 위한 통찰을 제공한다.

ABSTRACT

We investigate the capability of neural network-based model order reduction, i.e., autoencoder (AE), for fluid flows. As an example model, an AE which comprises of a convolutional neural network and multi-layer perceptrons is considered in this study. The AE model is assessed with four canonical fluid flows, namely: (1) two-dimensional cylinder wake, (2) its transient process, (3) NOAA sea surface temperature, and (4) $y-z$ sectional field of turbulent channel flow, in terms of a number of latent modes, a choice of nonlinear activation functions, and a number of weights contained in the AE model. We find that the AE models are sensitive against the choice of the aforementioned parameters depending on the target flows. Finally, we foresee the extensional applications and perspectives of machine learning based order reduction for numerical and experimental studies in fluid dynamics community.

연구 동기 및 목표

• 유체역학에서 오토인코더 기반 차원 축소에 영향을 미치는 주요 초매개변수—잠재 차원, 활성화 함수, 가중치 수—의 영향을 체계적으로 평가하기.
• 오토인코더 성능이 난류 및 난류 흐름, 임시 동역학 등 흐름 특성에 얼마나 민감한지 조사하기.
• 모델 복잡성 감소를 위한 프루닝의 효과를 평가하며, 재구성 정확도를 유지하는지 검토하기.
• 수치적 및 실험적 유체역학 연구에서 신경망 기반 저차원 모델을 구현하기 위한 실용적 지침 제공하기.
• 복잡하고 고차원적인 유체 시스템에서 오토인코더의 한계와 일반화 가능성에 대한 열린 질문 해결하기.

제안 방법

• 공간적 특징 추출을 위해 합성곱 신경망(CNNs)을 사용하고, 잠재 공간의 압축 및 재구성을 위해 다층 퍼셉트론(MLPs)을 조합한 하이브리드 오토인코더 아키텍처를 적용한다.
• CNN은 학습 가능한 필터와 풀링 연산을 통해 고차원 유동장의 잠재 공간으로 압축하고, 이후 완전 연결층을 통해 차원 감소를 수행한다.
• 디코더는 역합성곱 및 업샘플링 레이어를 사용해 잠재 표현에서 원래의 유동장을 재구성한다.
• 입력과 재구성된 유동장 간의 평균 제곱오차(MSE) 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 초매개변수 민감도 분석을 위해 네 가지 표준 유동 흐름 데이터셋—2D 실린더 후류, 임시 흐름, NOAA 해수면 온도(SST), 난류 채널 흐름—을 대상으로 수행한다.
• 가중치의 중요도가 낮은 부분을 제거하기 위해 스파arsity 임계값을 설정하고, 프루닝 후 재구성 오차를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 흐름에 대해 오토인코더 기반 저차원 모델의 재구성 정확도와 일반화 능력에 영향을 미치는 잠재 모드의 수는 어떻게 변화하는가?
• RQ2 다양한 비선형 활성화 함수(예: ReLU, ELU, SELU)는 난류 및 난류 흐름에서 오토인코더 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 모델 크기(가중치 수)는 훈련 동역학, 재구성 오차, 일반화 능력에 어떤 영향을 미치는가?
• RQ4 프루닝은 재구성 품질을 떨어뜨리지 않고 파라미터 수를 효과적으로 줄일 수 있는가? 그리고 이는 흐름 제도에 따라 어떻게 달라지는가?
• RQ5 난류 흐름의 복잡한 동역학을 표현하는 데 있어 오토인코더의 내재된 한계는 무엇이며, 난류나 임시 흐름과 비교해 어떻게 다를까?

주요 결과

• 재구성 정확도에 필요한 잠재 모드의 수는 흐름의 복잡성에 따라 크게 달라지며, 실린더 후류와 같은 난류 흐름은 난류나 임시 흐름보다 적은 모드로 충분하다.
• 활성화 함수의 선택은 재구성 정확도에 강력한 흐름 의존적 영향을 미치며, 대부분의 경우 ReLU와 ELU가 뛰어난 성능을 보였고, SELU는 난류 흐름 재구성에서 불안정성을 유발했다.
• 난류 흐름에서 훈련된 오토인코더는 난류 흐름에서처럼 네트워크 전반에 걸쳐 가중치 크기가 균일하게 분포해 있는 반면, 난류 흐름에서는 소수의 큰 가중치가 지배적임을 보여, 학습 동역학이 다름을 시사한다.
• 가장 중요도가 낮은 가중치를 최대 10~20%까지 프루닝해도 재구성 오차(L2 노름)가 낮게 유지됨을 확인하여, 정확도 손실 없이 모델 압축이 가능함을 시사한다.
• NOAA 해수면 온도(SST) 데이터셋의 재구성 오차는 난류와 난류 사례 사이의 중간 행동을 보이며, 이는 중간 수준의 복잡성을 반영한다.
• 이 연구는 어떤 하나의 오토인코더 설정도 항상 최적은 아니며, 특히 고차원 난류 시스템에서는 초매개변수 선택이 흐름 특성에 맞게 맞춤형으로 이루어져야 한다는 점을 확인한다.