[논문 리뷰] GAN-Based Priors for Quantifying Uncertainty

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|2020. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 2

한 줄 요약

이 논문은 고차원 역문제에서의 불확실성 정량화를 위해 베이지안 추론 프레임워크 내에서 생성적 적대적 네트워크(GAN)에 의해 학습된 사전 분포를 사용하는 것을 제안한다. 복잡한 비정규 사전 분포를 저차원 잠재공간으로 매핑함으로써, 이 방법은 이미지 복원 작업에 대해 정확한 사후 분포 추정을 가능하게 하며, 분포 외 입력 탐지, 분산 추정을 포함한 이미지 복원, 그리고 이미지 노이즈 제거 및 열전도 복원과 같은 물리 기반 역문제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Bayesian inference is used extensively to quantify the uncertainty in an inferred field given the measurement of a related field when the two are linked by a mathematical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to characterize mathematically. In this work we demonstrate how the approximate distribution learned by a deep generative adversarial network (GAN) may be used as a prior in a Bayesian update to address both these challenges. We demonstrate the efficacy of this approach on two distinct, and remarkably broad, classes of problems. The first class leads to supervised learning algorithms for image classification with superior out of distribution detection and accuracy, and for image inpainting with built-in variance estimation. The second class leads to unsupervised learning algorithms for image denoising and for solving physics-driven inverse problems.

연구 동기 및 목표

• 이미지 및 물리적 장 복원을 위한 베이지안 추론에서 복잡한 고차원 사전 분포를 모델링하는 데 도전하는 것.
• 기존 사전 분포(예: L2, H1)가 현실적인 데이터 분포를 포괄하지 못하는 역문제에서의 불확실성 정량화를 가능하게 하는 것.
• 잠재공간에서 복잡한 사후 분포를 근사하기 위해 GAN을 활용하는 효율적인 베이지안 추론 프레임워크를 개발하는 것.
• 이 방법의 효과성을 다양한 작업에서 입증하는 것: OOD 탐지가 포함된 이미지 분류, 주도학습이 포함된 이미지 복원, 노이즈 제거, 물리 기반 역문제

제안 방법

• MNIST와 같은 데이터셋에서 GAN을 훈련하여 잠재공간에서 복잡한 비정규 사전 분포를 학습한다.
• 훈련된 GAN 생성기로 단순한 잠재 사전 분포(예: 정규분포)의 샘플을 데이터 다양체로 매핑함으로써 관측 공간에서의 사전 분포를 형성한다.
• MCMC를 사용해 저차원 잠재공간에서 사후 분포로부터 샘플을 추출하고, 생성기를 통해 샘플을 다시 데이터 공간으로 매핑함으로써 베이지안 추론을 수행한다.
• 사후 샘플을 사용해 최대사후확률(MAP), 평균, 픽셀별 분산을 추정한다.
• 추정된 분산을 활용해 주도학습 전략을 안내하며, 예를 들어 이미지 복원에서 다음 측정 창을 선택한다.
• 표준 사전 분포인 L2 및 H1와 비교하여, 감독(분류, 복원) 및 비감독(노이즈 제거, 역문제) 작업 모두에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 GAN 기반 사전 분포는 고차원 이미지 복원 문제에서 베이지안 추론의 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 노이즈가 있거나 완전하지 않은 측정값으로부터 이미지를 복원할 때, GAN 사전 분포는 L2 및 H1와 같은 표준 정규 사전 분포보다 성능이 뛰어나게 되는가?
• RQ3 GAN 기반 사후 분포에서 추정한 픽셀별 분산은 이미지 분류에서 분포 외 입력을 효과적으로 탐지하는 데 사용될 수 있는가?
• RQ4 불확실성 추정은 반복적 이미지 복원에서 주도학습을 어느 정도 효과적으로 이끌 수 있는가?
• RQ5 알려진 진짜 값이 있는 물리 기반 역문제에서 GAN 기반 사후 분포는 진짜 사후 분포로 수렴하는가?

주요 결과

• GAN 기반 사전 분포는 MNIST 대 NotMNIST 입력에서 분포 외 입력 탐지에 완벽한 성능을 보였으며, ∥ŷ − xMAP∥ 측정치에서 명확한 분리가 이루어졌다.
• 이미지 복원 작업에서, 이 방법은 분산 추정을 활용해 주도학습 기반 창 선택 전략을 적용하여 단 4개의 창으로도 정확한 복원을 달성했다.
• 이미지 노이즈 제거 작업에서, MAP 추정치는 낮고 중간 수준의 노이즈(σx = 0.1, 1)에서 정확했지만, σx = 10일 경우 높은 분산이 나타나 잘못된 복원 결과에 대한 낮은 신뢰도를 올바르게 신호함으로써 오해를 방지했다.
• 열전도 역문제에서, GAN 기반 사후 분포는 진짜 초기 조건에 매우 가까운 MAP 추정치를 생성했으며, L2 및 H1 사전 분포보다 뛰어난 성능을 보였다.
• GAN 기반 사후 분포에서 추정한 픽셀별 분산은 알려진 불확실성 영역(예: 윤곽선)과 공간적으로 일치했으며, 몬테카를로 방법으로 계산한 진짜 사후 분산과도 밀도적으로 유사했다.
• 모든 시험 문제에서 GAN 기반 사후 분포는 MCMC 근사치와 비교해 진짜 사후 분포로 수렴했음을 확인했다.