[논문 리뷰] The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems

Deep Ray, Harisankar Ramaswamy외 2명|arXiv (Cornell University)|2022. 02. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 PDE에 의해 지배되는 물리기반 베이지안 역문제에서 효율적인 사후 샘플링을 가능하게 하기 위해 U-Net 생성자와 조건부 인스턴스 정규화(CIN)를 갖춘 조건부 워셔스타인 GAN(cWGAN)을 제안한다. 잠재 변수를 다중 척도에 걸쳐 주입함으로써, 잠재 차원을 측정 크기에서 분리하고 다중 척도의 확률적 특성을 구현하며, 다양한 PDE 역문제(예: 열전도 및 탄성 영상)에 대해 정확한 불확실성 정량화와 분포 외 측정치로의 일반화를 달성한다.

ABSTRACT

In this work, we train conditional Wasserstein generative adversarial networks to effectively sample from the posterior of physics-based Bayesian inference problems. The generator is constructed using a U-Net architecture, with the latent information injected using conditional instance normalization. The former facilitates a multiscale inverse map, while the latter enables the decoupling of the latent space dimension from the dimension of the measurement, and introduces stochasticity at all scales of the U-Net. We solve PDE-based inverse problems to demonstrate the performance of our approach in quantifying the uncertainty in the inferred field. Further, we show the generator can learn inverse maps which are local in nature, which in turn promotes generalizability when testing with out-of-distribution samples.

연구 동기 및 목표

• 느린 MCMC 샘플링을 대체함으로써 PDE 기반 역문제에서 전통적 베이지안 추론의 계산적 병목 현상을 해결한다.
• 정규화 방법의 결정론적 특성으로 인한 한계를 극복하기 위해 전체 사후 분포 샘플링과 불확실성 정량화를 가능하게 한다.
• 다양한 물리기반 역문제에 적용 가능한 확장성 있고 일반화 가능한 딥 러닝 프레임워크를 개발한다.
• 조건부 인스턴스 정규화(CIN)를 통해 잠재 공간의 차원을 측정 또는 필드 차원과 독립적으로 유연하게 설정할 수 있도록 한다.
• 특히 실실험 환경에서의 실제 측정치에 대해 훈련된 모델의 강건성과 일반화 능력을 입증한다.

제안 방법

• 합동 분포에서 유도된 측정치와 재구성된 필드의 쌍 데이터를 사용하여, 합성 사전 정보와 함께 정방 PDE 해법을 통해 생성된 데이터로 cWGAN를 훈련한다.
• 측정치로부터 다중 척도 특징을 포착하고 재구성된 필드를 생성하기 위해 잔차 블록 기반 U-Net 아키텍처를 생성자로 활용한다.
• U-Net의 다수의 레이어에 조건부 인스턴스 정규화(CIN)를 통해 잠재 노이즈를 주입함으로써 다중 척도의 확률적 특성을 구현하고, 잠재 차원을 입력/출력 차원에서 분리한다.
• 조건부 미니배치 크리틱 대신 단순화된 크리틱 네트워크를 사용하여, WGAN의 이론적 수렴 보장을 활용해 사후 통계의 안정성을 확보한다.
• 생성된 사후 분포가 진정한 사후 분포로 약한 수렴하도록 보장하기 위해 워셔스타인 적대적 손실을 사용해 cWGAN를 엔드 투 엔드로 훈련한다.
• 새로운 측정치에 조건을 주어 훈련된 생성자를 사용해 사후 샘플을 생성함으로써 MCMC를 회피하고 빠르고 확장 가능한 추론을 실현한다.

실험 결과

연구 질문

• RQ1 CIN 기반 잠재 주입을 통해 cWGAN가 다양한 PDE 기반 역문제에서 사후 분포를 효과적으로 학습할 수 있는가?
• RQ2 표준 cGAN의 채널 기반 잠재 주입 대비 CIN의 사용이 일반화 및 불확실성 정량화에 어떤 영향을 미치는가?
• RQ3 합성 데이터로 훈련된 cWGAN가 탄성 영상에서 실제 실험 측정치로의 일반화 능력은 어느 정도인가?
• RQ4 학습된 역함수의 국소적 특성이 분포 외(OOD) 측정치로의 일반화를 지원하는가?
• RQ5 cWGAN가 물리적 필드의 실제 재구성 오차와 관련된 신뢰도(예: 표준편차)를 신뢰할 만하게 추정할 수 있는가?

주요 결과

• CIN을 갖춘 cWGAN는 열전도(초기 조건 및 열전도도), 탄성 영상 등 세 가지의 상이한 PDE 기반 역문제에서 사후 샘플을 성공적으로 생성한다.
• 실험 초음파 데이터를 테스트한 결과, 포함 영역 중심까지의 수직 거리 추정 오차는 7.7%이며, 지름 추정 오차는 3%로, 결정론적 방법과 유사한 성능을 보였다.
• 포함 영역의 전단 모odulus는 13.3 kPa로 추정되었으며, 측정된 10.7 kPa와 비교해 24.3% 오차를 보였으며, 결정론적 접근 방식의 오차 범위 내에 있었다.
• 불확실성(표준편차)은 포함 영역의 경계에서 가장 높게 나타나, 재구성 불확실성이 높은 영역을 정확히 반영하고 있었다.
• RRQR를 통해 선정한 세 개의 가장 중요한 샘플은 최소한의 변동성을 보이며, 일관된 사후 샘플링과 안정적인 추론을 나타내었다.
• 훈련된 cWGAN는 OOD 측정치로도 잘 일반화되며, 이론적 및 실증적 증거를 통해 학습된 역함수의 국소적 성질이 일반화를 가능하게 하는 핵심 요소임을 입증했다.