[논문 리뷰] Conditional Sampling from Invertible Generative Models with Applications to Inverse Problems

Erik Lindgren, Jay Whang외 1명|arXiv (Cornell University)|2020. 02. 26.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 불확실성 인식 압축 센싱을 위한 역행성 생성 모델에서 조건부 샘플링을 위한 변분 접근법을 제안한다. 주어진 역행성 사전분포와 새로운 생성 모델을 조합함으로써, 저차원 측정값이 주어졌을 때 사후 분포에서 빠르고 고품질의 샘플링을 가능하게 하여, 역문제에서 샘플 효율성과 불확실성 정량화를 크게 향상시킨다.

ABSTRACT

We consider uncertainty aware compressive sensing when the prior distribution is defined by an invertible generative model. In this problem, we receive a set of low dimensional measurements and we want to generate conditional samples of high dimensional objects conditioned on these measurements. We first show that the conditional sampling problem is hard in general, and thus we consider approximations to the problem. We develop a variational approach to conditional sampling that composes a new generative model with the given generative model. This allows us to utilize the sampling ability of the given generative model to quickly generate samples from the conditional distribution.

연구 동기 및 목표

• 역행성 생성 모델로 정의된 사전분포가 주어졌을 때, 불확실성 인식 압축 센싱을 다루기.
• 저차원 측정값이 주어졌을 때 고차원 조건부 샘플을 생성하는 데 도전하기.
• 이 설정에서 계산이 불가능한 조건부 샘플링 문제에 대한 효율적인 근사 방법 개발하기.
• 역행성 사전분포의 샘플링 능력을 활용하여 실용적이고 확장 가능한 추론 방법 구축하기.

제안 방법

• 역행성 사전분포 하에 저차원 측정값이 주어졌을 때의 사후 추론으로서 조건부 샘플링 문제를 수립하기.
• 조합된 생성 모델을 사용하여 진짜 사후 분포에 대한 변분 근사 제안하기.
• 사전분포와 조건부 플로우를 조합하여 새로운 생성 모델을 구성하여 사후 분포를 모델링하기.
• 증거 하한 경계(ELBO)를 최소화하기 위해 변분 추론을 사용하여 조합된 모델을 엔드 투 엔드로 훈련하기.
• 원래 생성 모델의 역행성 특성을 활용하여 조건부 분포에서 효율적인 샘플링을 가능하게 하기.
• 추론 중 반복적 샘플링이나 최적화를 피하여 계산 효율성 확보하기.

실험 결과

연구 질문

• RQ1 역행성 생성 모델로 정의된 사전분포가 주어졌을 때, 저차원 측정값에 조건부된 고차원 샘플을 효율적으로 생성할 수 있는가?
• RQ2 비싼 샘플링 방법에 의존하지 않고, 이 설정에서 계산이 불가능한 사후 분포를 어떻게 근사할 수 있는가?
• RQ3 제안된 변분 접근법의 샘플 품질과 불확실성 정량화 측면에서의 성능은 어떠한가?
• RQ4 샘플링 효율성을 유지하면서도 고차원 역문제에 이 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 역행성 사전분포의 샘플링 능력을 활용하여 사후 분포에서 빠르고 확장 가능한 조건부 샘플링을 가능하게 한다.
• 변분 근사는 이와 같은 계산이 불가능한 조건부 샘플링 문제에 대해 실현 가능하고 효율적인 해결책을 제공한다.
• 조합된 생성 모델은 사후 분포의 구조를 효과적으로 포착하여 고품질의 조건부 샘플을 생성한다.
• 기존 표준 기준 대비 압축 센싱에서 개선된 불확실성 정량화를 달성한다.
• 반복적 정밀화나 최적화 단계를 피하기 때문에 조건부 분포에서의 샘플링이 계산적으로 효율적이다.
• 이 방법은 일반적이며, 역행성 생성 사전분포가 이용 가능한 다양한 역문제에 적용 가능하다.