[논문 리뷰] Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method

Francesco Romor, Giovanni Stabile외 1명|arXiv (Cornell University)|2022. 03. 01.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 2D 비선형 보존법칙과 얕은 수면 방정식에 대해 적용된 비선형 매개변수 PDE에 대해 정확하고 효율적인 ROM을 달성하는 물리 기반 비선형 다중막대 감소 모델(ROM)을 제안한다. 이는 복소 자동에코더(CAEs)를 사용한 잠재 다중막대 학습과 감소된 과잉공학(ROC)을 통한 초감소, 그리고 압축된 복원기의 교사-학생 훈련을 결합한 것이다. 선형 부분공간의 한계를 넘어서는 복잡한 비선형 및 이류 지배적 행동을 보이는 매개변수 PDE에 대해 물리적 일관성을 유지하면서 일반화 성능을 향상시킨다.

ABSTRACT

Non-affine parametric dependencies, nonlinearities and advection-dominated regimes of the model of interest can result in a slow Kolmogorov n-width decay, which precludes the realization of efficient reduced-order models based on linear subspace approximations. Among the possible solutions, there are purely data-driven methods that leverage autoencoders and their variants to learn a latent representation of the dynamical system, and then evolve it in time with another architecture. Despite their success in many applications where standard linear techniques fail, more has to be done to increase the interpretability of the results, especially outside the training range and not in regimes characterized by an abundance of data. Not to mention that none of the knowledge on the physics of the model is exploited during the predictive phase. In order to overcome these weaknesses, we implement the non-linear manifold method introduced by Carlberg et al [37] with hyper-reduction achieved through reduced over-collocation and teacher-student training of a reduced decoder. We test the methodology on a 2d non-linear conservation law and a 2d shallow water models, and compare the results obtained with a purely data-driven method for which the dynamics is evolved in time with a long-short term memory network.

연구 동기 및 목표

• 선형 감소 모델의 효율성을 제한하는 매개변수 PDE에서의 느린 콜모고로프 n-폭발 감소 문제를 해결하기 위해.
• LSTM이나 표준 자동에코더에 기반한 순수 데이터 기반 ROM에서의 물리적 일관성 부족과 일반화 성능 열악함 문제를 해결하기 위해.
• 잔차 기반 초감소와 잠재 동역학의 진화를 통해 물리적 제약을 통합한 비선형 다중막대 ROM을 개발하기 위해.
• 감소된 잔차 계산에 물리를 통합하여 훈련 매개변수 범위 외에서도 ROM의 해석 가능성과 강건성을 향상시키기 위해.
• 교사-학생 정규화를 통해 훈련된 압축된 물리 인식 복원기를 사용하여 복잡한 비선형 PDE에 대해 효율적인 온라인 예측을 가능하게 하기 위해.

제안 방법

• 풀오더 모델(FOM) 해 샘플에서 저차원 비선형 잠재 다중막대를 학습하기 위해 복소 자동에코더(CAEs)를 활용한다.
• 학습된 다중막대의 탄젠트 공간에 잔차를 투영하기 위해 비선형 다중막대 최소제곱 피트갈린 방법(NM-LSPG)을 적용한다.
• 메쉬 상의 최소한의 샘플링 점을 선택하여 잔차 계산을 초감소하기 위해 감소된 과잉공학(ROC) 방법을 사용한다.
• 큰 사전 훈련된 CAE(교사)가 더 작은 효율적인 복원기(학생)를 지도하여 재구성 정확도를 모방하도록 교사-학생 훈련을 통해 복원기의 압축을 수행한다.
• 잠재 동역학 모델(구체적으로 기술되진 않았지만, 감소된 잔차의 시간 적분을 통해 학습된 것으로 암시됨)을 구현하여 잠재 공간 내의 진화를 예측한다.
• 전체 ROM 파이프라인을 통합한다: 다중막대 학습(오프라인) → 초감소 및 복원기 압축 → 잠재 상태의 시간 진화를 통한 온라인 예측

실험 결과

연구 질문

• RQ1 CAEs와 ROC를 기반으로 한 비선형 다중막대 ROM이 복잡한 동역학을 보이는 매개변수 PDE에 대해 순수 데이터 기반 LSTM 기반 모델보다 더 높은 정확도와 효율성을 달성할 수 있는가?
• RQ2 잔차 기반 초감소(ROC)를 통한 물리 통합이 순수 데이터 기반 방법에 비해 훈련 매개변수 범위 외에서 일반화 성능과 강건성을 얼마나 향상시키는가?
• RQ3 복원기의 교사-학생 정규화가 재구성 정확도를 손상시키지 않으면서 계산 효율성을 얼마나 향상시키는가?
• RQ4 선형 ROM이 느린 콜모고로프 n-폭발 감소로 인해 실패하는 이류 지배적 및 비선형 영역에서도 제안된 방법이 정확성과 안정성을 유지하는가?
• RQ5 이 방법이 복잡한 비선형 매개변수 의존성과 함께 실제 PDE인 얕은 수면 방정식과 비선형 보존법칙에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 ROM은 비선형 보존법칙과 얕은 수면 방정식에 대해 비선형 매개변수 의존성과 이류 지배적 영역에서도 정확한 예측을 달성한다.
• 특히 훈련 매개변수 범위 외에서 순수 데이터 기반 LSTM 기반 ROM에 비해 더 뛰어난 일반화 성능과 강건성을 보였다.
• ROC를 통한 초감소는 최소한의 샘플링 점으로 효율적인 잔차 계산을 가능하게 하여 온라인 계산 비용을 감소시켰다.
• 복원기의 교사-학생 정규화는 훨씬 작고 빠르며 정확한 감소된 복원기를 만들어내어 높은 재구성 정밀도를 유지했다.
• 시험 케이스에서 FOM보다 뚜렷한 속도 향상은 달성하지 못했지만, 저차원의 잠재 공간(예: 4차원 잠재 차원)과 높은 정확도를 확보하여 대규모 문제에 대한 강력한 잠재력을 보였다.
• 프레임워크는 모듈식이며 아키텍처에 종속되지 않아, 다중막대 학습에 어떤 신경망(예: CAEs)을 사용해도 되며, 훈련 효율성과 물리적 일관성이 향상된다.