[논문 리뷰] An autoencoder-based reduced-order model for eigenvalue problems with application to neutron diffusion

Toby R. F. Phillips, Claire E. Heaney외 2명|arXiv (Cornell University)|2020. 08. 15.

Model Reduction and Neural Networks참고 문헌 62인용 수 67

한 줄 요약

이 논문은 비선형 차원 축소를 위한 오토인코더를 사용하여 중성자 확산 문제의 고유값 문제에 대해 새로운 투영 기반 축소 모델(ROM)을 제안한다. 기존의 전통적인 적절한 직교 분해(POD) 방법보다 뛰어난 성능을 보이며, 하이브리드 SVD-오토인코더 접근법을 통해 입력 복잡도를 감소시켜 특히 k-eff 예측 정확도를 향상시킨다. 2차원 테스트 케이스에서 이 방법은 POD 및 표준 오토인코더 ROM보다 오차가 한 계급 낮아 압도적인 성능을 보였다.

ABSTRACT

Using an autoencoder for dimensionality reduction, this paper presents a novel projection-based reduced-order model for eigenvalue problems. Reduced-order modelling relies on finding suitable basis functions which define a low-dimensional space in which a high-dimensional system is approximated. Proper orthogonal decomposition (POD) and singular value decomposition (SVD) are often used for this purpose and yield an optimal linear subspace. Autoencoders provide a nonlinear alternative to POD/SVD, that may capture, more efficiently, features or patterns in the high-fidelity model results. Reduced-order models based on an autoencoder and a novel hybrid SVD-autoencoder are developed. These methods are compared with the standard POD-Galerkin approach and are applied to two test cases taken from the field of nuclear reactor physics.

연구 동기 및 목표

• . 고유값 문제에 대해 비선형 차원 축소를 위한 오토인코더를 사용한 투영 기반 축소 모델(ROM)을 개발한다.
• . 정확도 및 계산 효율성 측면에서 오토인코더 기반 ROM을 기존의 POD-갈레르킨 방법과 비교한다.
• . 입력 차원을 감소시키고 모델의 강건성을 향상시키는 새로운 하이브리드 SVD-오토인코더 방법을 도입하고 평가한다.
• . 다양한 물성 조건을 가진 실제-reactor 물리 테스트 케이스에 대한 성능을 평가한다.
• . 비선형 오토인코더가 선형 POD보다 복잡한 해의 특징을 더 효율적으로 포착할 수 있음을 보여준다.

제안 방법

• . 고밀도 모델(HFM) 스냅샷에서 비선형 저차원 잠재 공간을 오토인코더를 통해 학습하여, 기저 함수 생성에 선형 POD/SVD를 대체한다.
• . 하이브리드 SVD-오토인코더를 구현: 스냅샷에 먼저 SVD를 적용하여 차원을 감소시킨 후 오토인코더에 입력함으로써 네트워크 복잡도를 낮춘다.
• . 갈레르킨 투영을 통해 전체 미분 방정식(중성자 확산)을 학습된 잠재 공간에 투영하여 축소된 방정식 시스템을 구성한다.
• . 훈련된 오토인코더와 축소된 행렬을 사용하여, 관측된 및 미관측 파rameter 값에 대해 축소된 시스템을 해석한다.
• . 압축 오차, 불리 프로파일 오차, k-eff 오차 등의 지표를 사용하여 표준 POD-갈레르킨 ROM 및 표준 오토인코더 기반 ROM과 결과를 비교한다.
• . 두 단계의 오프라인 프로세스를 구현: (1) 훈련용 파arameter에 대해 HFM를 통해 해를 구하고, (2) 스냅샷에 대해 오토인코더와 SVD를 훈련시켜 기저 함수 및 잠재 표현을 생성한다.

실험 결과

연구 질문

• RQ1 . 오토인코더 기반 ROM이 중성자 확산 문제의 고유값 문제를 해결할 때, POD-갈레르킨 ROM보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 . 하이브리드 SVD-오토인코더의 성능은 압축 및 해 오차 측면에서 표준 오토인코더 및 POD 기반 ROM과 비교해 어떻게 다른가?
• RQ3 . 비선형 임bedding을 가진 오토인코더는 복잡하거나 비선형 시스템에서 선형 POD보다 해의 특징을 더 효율적으로 포착할 수 있는가?
• RQ4 . 하이브리드 SVD-오토인코더 접근법은 표준 오토인코더 ROM 대비 과적합을 줄이고, 새로운 파arameter 값에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ5 . SVD 사전 처리를 통한 입력 차원 축소는 모델 축소 맥락에서 오토인코더의 정확도 및 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• . 2차원 테스트 케이스에서 하이브리드 SVD-오토인코더 기반 ROM은 미관측 데이터에 대해 가장 낮은 k-eff 오차 1.7117 × 10⁻⁴를 기록했으며, 이는 POD 및 표준 오토인코더 ROM보다 한 계급 낮았다.
• . 2차원 테스트 케이스에서 SVD-오토인코더 ROM은 POD 기반 ROM의 오차 1.9947 × 10⁻³ 대비 k-eff 오차를 10배 감소시켰다.
• . SVD-오토인코더 ROM은 관측된 및 관측되지 않은 경우 모두에서 압축 오차 및 불리 프로파일 오차가 일관되게 낮게 유지되었으며, 압축 오차는 1.7734 × 10⁻²로 POD의 5.7756 × 10⁻²보다 낮았다.
• . 1차원 테스트 케이스에서 오토인코더 기반 ROM은 POD 기반 ROM 대비 k-eff 오차를 한 계급 낮추었으며, 잠재 변수당 정보를 더 효율적으로 포착함을 보였다.
• . 하이브리드 SVD-오토인코더 접근법은 오토인코더의 입력 차원을 감소시켜 네트워크 복잡도를 낮추고 과적합 가능성도 줄여 일반화 능력을 향상시켰다.
• . SVD-오토인코더가 생성한 잠재 변수는 훈련 데이터 전반에 걸쳐 안정적이고 정보가 풍부한 범위를 차지하여, 해의 다양체를 강건하고 의미 있는 저차원 표현으로 포괄하고 있음을 시사했다.