[논문 리뷰] Bi-fidelity Variational Auto-encoder for Uncertainty Quantification

Nuojin Cheng, Osman Asif Malik외 3명|arXiv (Cornell University)|2023. 05. 25.

Probabilistic and Robust Engineering Design참고 문헌 51인용 수 4

한 줄 요약

이 논문은 물리 시스템에서 정확한 불확실성 정량화(UQ)를 위해 고해상도(HF) 샘플 수를 크게 줄이기 위해 저해상도(LF) 및 고해상도(HF) 데이터를 활용하는 双해상도 변동형 오토인코더(BF-VAE)를 제안한다. 잠재공간 내에서 이중해상도 자동재귀 구조를 통합하고 제한된 HF 데이터로 변동형 하한을 최적화함으로써, HF 데이터가 부족할 경우 HF-단독 VAE보다 뛰어난 통계 정확도를 달성하며, KID 점수는 최대 40% 향상된다.

ABSTRACT

Quantifying the uncertainty of quantities of interest (QoIs) from physical systems is a primary objective in model validation. However, achieving this goal entails balancing the need for computational efficiency with the requirement for numerical accuracy. To address this trade-off, we propose a novel bi-fidelity formulation of variational auto-encoders (BF-VAE) designed to estimate the uncertainty associated with a QoI from low-fidelity (LF) and high-fidelity (HF) samples of the QoI. This model allows for the approximation of the statistics of the HF QoI by leveraging information derived from its LF counterpart. Specifically, we design a bi-fidelity auto-regressive model in the latent space that is integrated within the VAE's probabilistic encoder-decoder structure. An effective algorithm is proposed to maximize the variational lower bound of the HF log-likelihood in the presence of limited HF data, resulting in the synthesis of HF realizations with a reduced computational cost. Additionally, we introduce the concept of the bi-fidelity information bottleneck (BF-IB) to provide an information-theoretic interpretation of the proposed BF-VAE model. Our numerical results demonstrate that BF-VAE leads to considerably improved accuracy, as compared to a VAE trained using only HF data, when limited HF data is available.

연구 동기 및 목표

• 고해상도(HF) 시뮬레이션이 비용이 많이 들고 부족한 불확실성 정량화(UQ)의 계산적 병목 현상을 해결하기 위해.
• 정확한 QoI 통계 추정을 위한 생성 모델을 훈련하기 위해 필요한 HF 실현 수를 줄이기 위해.
• LF 데이터에서 HF 데이터로 지식을 전이하면서도 잠재공간 내 통계 정밀도를 유지하는 딥 생성 모델을 개발하기 위해.
• 이중해상도 정보 블로킹(BF-IB) 프레임워크를 통해 모델에 정보 이론적 기반을 제공하기 위해.
• 제안된 BF-VAE가 HF 데이터가 제한된 상황에서 HF-단독 VAE를 능가함을 입증하기 위해.

제안 방법

• BF-VAE는 LF 및 HF 데이터 간에 공유되는 잠재공간을 갖는 확률적 인코더-디코더 아키텍처를 사용하여 공동 모델링을 가능하게 한다.
• LF 및 HF 표현 간의 의존성을 모델링하기 위해 잠재공간 내 이중해상도 자동재귀 구조를 도입한다.
• 제한된 HF 샘플이 있을 때조차도 LF 및 HF 데이터를 모두 포함하는 하이브리드 손실을 사용하여 HF 로그우도의 변동형 하한을 최대화한다.
• 훈련 알고리즘은 두 단계 과정을 사용한다: 먼저 LF 데이터로 사전 훈련한 후, 재구성 및 KL 발산 항을 최소화하기 위해 HF 데이터와 함께 공동 미세조정한다.
• 이중해상도 정보 블로킹(BF-IB)을 통해 정보 이론적 해석을 제공하며, 잠재 표현에서 치우침과 압축 간의 트레이드오프를 정량화한다.
• 모델은 GeLU 활성화 함수를 사용하는 완전히 연결된 신경망과 4차원 잠재공간을 사용하며, 고정된 β 하이퍼파rameter를 사용해 Adam 옵timizer로 훈련된다.

실험 결과

연구 질문

• RQ1 이중해상도 VAE 아키텍처는 불확실성 정량화에서 정확도를 유지하거나 향상시키면서도 필요한 고해상도 시뮬레이션 수를 줄일 수 있는가?
• RQ2 저해상도 데이터의 통합이 제한된 고해상도 데이터로 훈련된 VAE의 일반화 능력과 샘플 품질을 어떻게 향상시키는가?
• RQ3 잠재공간의 정보 이론적 역할은 저해상도 및 고해상도 데이터 간의 치우침과 압축을 균형 잡는 데 어떤가?
• RQ4 HF 데이터가 제한된 상황에서 제안된 BF-VAE가 분포 유사도 측면에서 표준 HF-단독 VAE를 능가하는가?
• RQ5 잠재공간 내 이중해상도 자동재귀 구조가 모델이 현실적인 HF 실현을 생성하는 데 얼마나 기여하는가?

주요 결과

• HF 실현 수가 적을 경우 BF-VAE는 HF-단독 VAE보다 훨씬 높은 KID 점수를 기록하며, n=10 HF 샘플에서 최대 40% 향상된다.
• 낮은 HF 샘플 수(n < 100)에서 BF-VAE는 Kullback–Leibler 발산(KID)으로 측정된 분포 유사도 측면에서 일관되게 HF-VAE를 능가한다.
• 400개의 LF 샘플을 사용할 경우, LF 데이터의 기여로 인해 효과적인 HF 훈련 비용이 약 4.08 HF 실현으로 감소한다.
• HF 데이터가 풍부한 경우(n > 600), HF-VAE의 성능이 BF-VAE를 초월하며, 고데이터 환경에서 다중해상도 모델의 예상되는 행동을 확인한다.
• 시각적 비교에서 BF-VAE가 생성한 샘플은 특히 꼬리 행동과 극단 사건을 잘 포착하여 진짜 HF 분포와 유사하다.
• 이중해상도 정보 블로킹(BF-IB)은 LF 데이터에서 관련성 있고 압축된 표현을 추출하여 HF 분포를 안내하는 모델의 능력에 이론적 근거를 제공한다.