[논문 리뷰] Bifidelity data-assisted neural networks in nonintrusive reduced-order modeling

Chuan Lü, Xueyu Zhu|arXiv (Cornell University)|2019. 02. 01.

Model Reduction and Neural Networks참고 문헌 15인용 수 5

한 줄 요약

이 논문은 고정밀도 감소 계수의 신경망 예측 성능을 향상시키기 위해 물리적 파rameter와 함께 저정밀도 데이터 특징을 통합함으로써 비침습적 감소 차수 모델링 방법 BiFi-NN을 제안한다. 이중 히든 레이어 퍼셉트론을 사용하여 이중정밀도 입력을 처리함으로써, 표준 POD-NN보다 더 낮은 오차 포화 수준을 달성하면서 정확도가 향상되고, 고정밀도 시뮬레이션을 온라인 단계에서 분리함으로써 효율적인 온라인 계산이 가능해진다.

ABSTRACT

In this paper, we present a new nonintrusive reduced basis method when a cheap low-fidelity model and expensive high-fidelity model are available. The method relies on proper orthogonal decomposition (POD) to generate the high-fidelity reduced basis and a shallow multilayer perceptron to learn the high-fidelity reduced coefficients. In contrast to other methods, one distinct feature of the proposed method is to incorporate the features extracted from the low-fidelity data as the input feature, this approach not only improves the predictive capability of the neural network but also enables the decoupling the high-fidelity simulation from the online stage. Due to its nonintrusive nature, it is applicable to general parameterized problems. We also provide several numerical examples to illustrate the effectiveness and performance of the proposed method.

연구 동기 및 목표

• 저정밀도 및 고정밀도 모델을 모두 활용하여 예측 정확도를 향상시키는 비침습적 감소 차수 모델링 방법을 개발하는 것.
• 고정밀도 시뮬레이션을 온라인 단계에서 분리하여 매개변수화된 PDE에 대한 효율적인 온라인 계산을 가능하게 하는 것.
• 저정밀도 해에서 추출한 데이터 기반 특징을 통합함으로써 신경망의 일반화 성능을 향상시키는 것.
• 비선형적이고 고차원적인 매개변수 공간에서의 보간 기반 및 단일 정밀도 신경망 방법의 한계를 해결하는 것.
• 고비용의 고정밀도 해석기로 작동하는 기준 비선형 PDE 문제에 대해 본 방법의 효과성을 입증하는 것.

제안 방법

• 고정밀도 샘플에서 감소 기저를 생성하기 위해 적절한 직교 분해(POD)를 사용하여 정확한 감소 근사 공간을 보장한다.
• 물리적 파rameter와 저정밀도 POD 계수를 고정밀도 POD 계수로 매핑하기 위해 이중 히든 레이어 다층 퍼셉트론(MLP)을 훈련한다.
• 저정밀도 데이터 특징은 저정밀도 해의 샘플에 대해 POD를 적용하여 추출되며, 신경망의 추가 입력 특징으로 사용된다.
• 훈련 단계에서는 고정밀도 및 저정밀도 시뮬레이션을 통해 데이터를 생성하지만, 온라인 단계에서는 전체 차수의 해를 풀지 않고 신경망 추론만 필요로 한다.
• 이 방법은 기존의 고정밀도 해석기의 수정이 필요 없으며, 일반적인 매개변수화된 PDE에 적용 가능하다.
• 이 방법은 전체 차수 자유도에 따라 변하지 않는 계산 비용을 가지며, 런타임을 크게 줄이는 온라인 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 저정밀도 데이터 특징을 통합하면 비침습적 감소 차수 모델링에서 신경망의 예측 정확도가 향상되는가?
• RQ2 저정밀도 모델에서 유도된 데이터 기반 특징을 사용하면 고정밀도 계수 근사에서 오차 포화 수준이 감소하는가?
• RQ3 이중정밀도 입력은 물리적 파rameter만을 입력으로 사용하는 경우보다 일반화 성능을 얼마나 향상시키는가?
• RQ4 온라인 단계에서 고정밀도 시뮬레이션을 요구하지 않고도 정확한 온라인 예측을 달성할 수 있는가?
• RQ5 훈련 데이터 크기가 증가함에 따라 계수 근사 오차 측면에서 본 방법의 스케일링 특성은 어떠한가?

주요 결과

• 저정밀도 데이터에서 유도된 향상된 특징 표현 덕분에, 특히 작은 훈련 세트에서 표준 POD-NN보다 더 낮은 근사 오차 포화 수준을 달성한다.
• 고정된 감소 기저 차원(r=18)에서 BiFi-NN은 훈련 데이터가 제한된 경우 수정된 POD-NN보다 눈에 띄게 낮은 계수 오차를 기록한다.
• 훈련 세트 크기가 N=20, 40, 80일 경우 BiFi-NN은 수정된 POD-NN을 일관되게 능가하며, 훈련 데이터가 증가함에 따라 오차 감소 속도가 더 빠르다.
• 2D 원판 뒤의 비압축성 유동 문제와 같이 비선형 매개변수 의존성을 보이는 여러 기준 문제에서 안정적인 수렴 행동을 보였다.
• 저정밀도 특징의 통합 덕분에 신경망이 고정밀도 계수 매핑의 복잡한 비선형 관계를 더 잘 포착할 수 있었다.
• 온라인 계산 비용은 저렴하며 전체 차수 자유도에 영향을 받지 않아, 비침습적이고 효율적인 접근 방식임을 확인했다.