[논문 리뷰] Instance-Optimal Compressed Sensing via Posterior Sampling

Ajil Jalal, Sushrut Karmalkar외 2명|arXiv (Cornell University)|2021. 06. 21.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 어떤 알려진 사전 분포에서 유래한 신호에 대해 후행 분포 샘플링을 라ング주인 역동성을 통해 구현하는 압축 측정법을 제안하며, 가우시안 측정을 사용하여 거의 최적의 복원 성능을 달성한다. 이는 후행 분포 샘플링이 측정 복잡도에 대한 이론적 하한선을 충족하며, 사전 분포 모델 불일치가 발생하더라도 사전 분포 간 워샤르슈타인 거리가 가까운 경우에 강건함을 입증한다.

ABSTRACT

We characterize the measurement complexity of compressed sensing of signals drawn from a known prior distribution, even when the support of the prior is the entire space (rather than, say, sparse vectors). We show for Gaussian measurements and \emph{any} prior distribution on the signal, that the posterior sampling estimator achieves near-optimal recovery guarantees. Moreover, this result is robust to model mismatch, as long as the distribution estimate (e.g., from an invertible generative model) is close to the true distribution in Wasserstein distance. We implement the posterior sampling estimator for deep generative priors using Langevin dynamics, and empirically find that it produces accurate estimates with more diversity than MAP.

연구 동기 및 목표

• 신호가 희소성 또는 구조적 집합 외의 임의의 알려진 사전 분포에서 유래할 경우, 압축 측정에 필요한 측정 복잡도를 규명하는 것.
• 모든 분포에 대해 후행 분포 샘플링이 인스턴스 최적의 복원 보장을 달성함을 입증하는 것, 특히 R^n 전체에 대해 균일한 지지를 가지는 분포도 포함하여.
• 사전 분포 모델 불일치에 대한 강건성을 분석하여, 추정된 사전 분포가 진짜 사전 분포와 워샤르슈타인 거리에서 가까운 경우 정확한 복원이 가능하다는 것을 보여주는 것.
• 딥 제너레이티브 사전 분포를 위한 라ング주인 역동성을 활용한 후행 분포 샘플링의 실용적 구현을 제공하며, MAP보다 더 높은 다양성과 정확도를 확보하는 것.

제안 방법

• 측정 벡터 y와 측정 행렬 A에 대해 후행 분포 p(x|y,A)에서 샘플을 추출하는 복원 알고리즘으로 후행 분포 샘플링을 제안한다.
• 임의의 사전 분포 하에서 복원에 필요한 측정 복잡도를 기술하기 위해 근사 커버링 수라는 새로운 개념을 도입한다.
• 사전 분포의 근사 커버링 수에 기반해 후행 분포 샘플링의 측정 복잡도에 상한을 설정한다.
• 후행 분포 샘플링의 측정 복잡도가 근사 커버링 수에 기반해 근사 최적임을 입증하기 위해 일치하는 인스턴스별 하한을 유도한다.
• 감소하는 노이즈와 기울기 단계의 스케줄을 사용하여 딥 제너레이티브 모델에 대한 후행 분포 샘플링을 라ング주인 역동성으로 구현한다.
• 추정된 사전 분포 P가 진짜 사전 분포 R과 워샤르슈타인 거리에서 가까운 경우, P를 사용한 후행 분포 샘플링이 여전히 정확한 복원을 가능하게 함으로써 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 후행 분포 샘플링은 지지 집합이 전체 R^n을 차지하는 신호 분포에 대해서도 인스턴스 최적의 압축 측정 성능을 달성할 수 있는가?
• RQ2 주어진 사전 분포에 대해 거의 최적의 복원을 달성하기 위해 필요한 최소한의 가우시안 측정 수는 얼마인가?
• RQ3 후행 분포 샘플링은 사전 분포 모델 오차에 대해 얼마나 강건한가, 특히 추정된 사전 분포가 진짜 사전 분포와 워샤르슈타인 거리에서 가까운 경우에 대해?
• RQ4 라ング주인 역동성을 통한 후행 분포 샘플링은 이미지 복원 작업에서 MAP보다 더 다양한 고품질 복원을 생성할 수 있는가?
• RQ5 압축 측정 및 인painting 환경에서 후행 분포 샘플링의 성능은 MAP 및 딥 디코더 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 후행 분포 샘플링은 임의의 사전 분포에 대해 거의 최적의 복원 보장을 달성하며, 고확률 복원을 위한 측정 복잡도는 O(m log(1 + mr²‖A‖∞²/σ²) + log(1/δ))로 유계이다.
• 모델 불일치에 강건함: 추정된 사전 분포 P가 진짜 사전 분포 R과 O(σδ¹ᐟᵖ) 워샤르슈타인 거리 이내에 있을 경우, P를 사용한 후행 분포 샘플링 역시 여전히 정확한 복원을 가능하게 한다.
• 실험 결과로, 라ング주인 기반 후행 분포 샘플링은 압축 측정 및 인painting 작업에서 다양한 고품질 복원을 생성하며, 시각적 품질과 다양성에서 MAP를 능가한다.
• FFHQ 및 CelebA-HQ 실험에서, NCSNv2 및 Glow 모델을 사용한 후행 분포 샘플링은 MAP 및 Deep-Decoder 베이스라인보다 더 높은 복원 품질을 달성했다.
• 이론적 분석을 통해 후행 분포 샘플링이 인스턴스 최적의 하한선을 충족함을 확인하였으며, 이는 주어진 사전 분포에 대해 정보 이론적으로 최적임을 의미한다.
• 라ング주인 역동성의 사용은 복잡한 딥 제너레이티브 사전 분포에 대한 실용적 후행 분포 샘플링을 가능하게 하여, 일반적으로 흐린 이미지와 낮은 다양성을 보이는 MAP 기반 접근의 한계를 극복한다.