[논문 리뷰] Reduced-order Deep Learning for Flow Dynamics

Min Wang, Siu Wun Cheung외 4명|arXiv (Cornell University)|2019. 01. 29.

Advanced Mathematical Modeling in Engineering참고 문헌 32인용 수 6

한 줄 요약

이 논문은 비국소 다중연속체(NLMC) 업스케일링을 사용하여 다스케일 유동 역학을 위한 딥 뉴럴 네트워크 기반 축소 차수 모델링 방법을 제안한다. 코arse-grid 해 간의 입력-출력 맵을 학습하기 위해 소프트 스위칭 활성화 함수를 사용하는 다층 네트워크를 훈련시킴으로써 주요 다스케일 특징을 포착하고, 희소이고 적응적인 모드 선택을 통해 효율적인 타임스텝핑을 가능하게 하여 테스트 케이스 전반에서 평균 예측 오차를 10% 이하로 달성한다.

ABSTRACT

In this paper, we investigate neural networks applied to multiscale simulations and discuss a design of a novel deep neural network model reduction approach for multiscale problems. Due to the multiscale nature of the medium, the fine-grid resolution gives rise to a huge number of degrees of freedom. In practice, low-order models are derived to reduce the computational cost. In our paper, we use a non-local multicontinuum (NLMC) approach, which represents the solution on a coarse grid [18]. Using multi-layer learning techniques, we formulate and learn input-output maps constructed with NLMC on a coarse grid. We study the features of the coarse-grid solutions that neural networks capture via relating the input-output optimization to $l_1$ minimization of PDE solutions. In proposed multi-layer networks, we can learn the forward operators in a reduced way without computing them as in POD like approaches. We present soft thresholding operators as activation function, which our studies show to have some advantages. With these activation functions, the neural network identifies and selects important multiscale features which are crucial in modeling the underlying flow. Using trained neural network approximation of the input-output map, we construct a reduced-order model for the solution approximation. We use multi-layer networks for the time stepping and reduced-order modeling, where at each time step the appropriate important modes are selected. For a class of nonlinear problems, we suggest an efficient strategy. Numerical examples are presented to examine the performance of our method.

연구 동기 및 목표

• 다스케일 흐름 문제에서 미세 격자 시뮬레이션의 높은 계산 비용을 해결하기 위해 축소 차수 모델링 프레임워크를 개발한다.
• 기존의 모델 축소 기법의 한계를 극복하기 위해 딥 러닝을 통합하여 명시적인 연산자 계산 없이도 복잡한 입력-출력 맵을 학습한다.
• 신경망 훈련을 통해 매 타임스텝에서 중요한 다스케일 모드를 적응적으로 선택할 수 있도록 한다.
• 다양한 다스케일 구성에서 주요 특징을 포착할 수 있는 일반화 가능한 데이터 기반 기저를 개발한다.
• ℓ₁ 최소화와 연결된 소프트 스위칭 네트워크를 활용하여 비선형 흐름 문제의 예측 정확도를 향상시킨다.

제안 방법

• 미세 척도 해를 코어스 격자에 투영하기 위해 비국소 다중연속체(NLMC) 업스케일링을 사용하여 자유도를 감소시킨다.
• 연속된 시간 단계 간의 코어스 격자 해의 진화를 입력-출력 맵으로 설정한다.
• NLMC 해를 훈련 데이터로 사용하여 다층 신경망을 훈련시켜 입력-출력 맵을 학습한다.
• 신경망에서 소프트 스위칭 활성화 함수를 사용하며, 이는 ℓ₁ 최소화와 분석적으로 연결되어 학습된 모드의 희소성을 촉진한다.
• 훈련된 네트워크를 타임스텝 식에 통합하여, 매 단계에서 관련 있는 다스케일 특징을 적응적으로 선택한다.
• 다른 데이터 클러스터(예: 다양한 균열 구성)에 대해 별도의 네트워크를 훈련하고, 혼합 데이터 네트워크와 성능을 비교하여 일반화성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 다스케일 흐름 문제에서 코어스 격자 해 간의 입력-출력 맵을 효과적으로 학습할 수 있는가?
• RQ2 신경망의 소프트 스위칭 활성화 함수는 ℓ₁ 최소화와 어떻게 관련되어 있으며, 다스케일 특징을 포착하는 데 어떤 이점을 제공하는가?
• RQ3 명시적인 축소 차수 기저의 계산 없이 신경망이 주요 다스케일 모드를 식별하고 선택할 수 있는 정도는 어느 정도인가?
• RQ4 다양한 물리적 구성에서 유래한 혼합 데이터로 훈련할 경우, 클러스터 특화 훈련에 비해 예측 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 최소한의 계산 비용으로 비선형 흐름 문제에 대해 높은 정확도의 축소 차수 모델링을 달성할 수 있는가?

주요 결과

• 제안된 다층 신경망은 테스트 샘플의 모든 타임스텝에서 평균 예측 오차가 10% 이하임을 확인하여 강력한 예측 정확도를 입증한다.
• n = 0,1,...,8 인 경우 계수 $ U^{n+1,W_{n}^{2}} $ 는 학습된 기저 체계 $ W^{2}_{n} $ 에서 희소함을 보였으며, 이는 네트워크가 관련 모드를 식별할 수 있음을 확인한다.
• 클러스터 특화 데이터의 경우, $ frac{1}{10} ext{NN}_1 $ 의 평균 예측 오차는 7.45%였고, 혼합 데이터 네트워크 $ ext{NN}_{ ext{mixed}} $ 는 유의미하게 높은 오차 36.64%를 보였다. 이는 클러스터가 뚜렷이 다를 경우 혼합 훈련이 성능을 저하시킨다는 것을 시사한다.
• 소프트 스위칭 네트워크 구조는 ℓ₁ 최소화와 강력한 분석적·실험적 연관성을 보였으며, 효과적인 희소성 촉진 특징 선택을 가능하게 하였다.
• 이 방법은 POD 기반 접근 방식에서 요구되는 명시적 연산자 계산을 피하면서도, 축소된 방식으로 전진 연산자(Forward operators)를 성공적으로 학습하였다.
• 이 프레임워크는 매 타임스텝에서 중요한 모드를 동적으로 선택함으로써 효율적인 타임스텝핑을 가능하게 하여, 비선형 문제에 대한 계산 효율성을 향상시켰다.