[논문 리뷰] Latent Generative Models with Tunable Complexity for Compressed Sensing and other Inverse Problems

Sean Gunn, Jorio Cocola외 3명|arXiv (Cornell University)|2026. 03. 07.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

이 논문은 확산 모델, VAE, 정규화 흐름에 대해 조정 가능한 복잡도 프라이어를 도입하여 추론 시 잠재 차원을 조정함으로써 다양한 문제에서 역문제 재구성을 개선한다.

ABSTRACT

Generative models have emerged as powerful priors for solving inverse problems. These models typically represent a class of natural signals using a single fixed complexity or dimensionality. This can be limiting: depending on the problem, a fixed complexity may result in high representation error if too small, or overfitting to noise if too large. We develop tunable-complexity priors for diffusion models, normalizing flows, and variational autoencoders, leveraging nested dropout. Across tasks including compressed sensing, inpainting, denoising, and phase retrieval, we show empirically that tunable priors consistently achieve lower reconstruction errors than fixed-complexity baselines. In the linear denoising setting, we provide a theoretical analysis that explicitly characterizes how the optimal tuning parameter depends on noise and model structure. This work demonstrates the potential of tunable-complexity generative priors and motivates both the development of supporting theory and their application across a wide range of inverse problems.

연구 동기 및 목표

• 주어진 역문제에 더 잘 맞도록 조정 가능한 잠재 복잡성을 가진 생성 사전의 사용을 고취한다.
• 여러 잠재 차원을 표현할 수 있는 단일 모델을 생성하는 학습 절차를 개발한다.
• 중간 잠재 차원이 다양한 문제에서 재구성 오차를 더 낮출 수 있음을 실증적으로 보여준다.
• 선형 잡음 제거 설정에서 최적 복잡도 선택에 대한 이론적 통찰을 제공한다.

제안 방법

• 중첩 드롭아웃을 사용하여 잠재 차원 간 매개변수 공유를 통해 조정 가능한 잠재 생성 모델(확산, VAE, 및 정규화 흐름)의 하나의 계통을 학습한다.
• LDMs의 경우 계층적 잠재 표현을 만들기 위해 중첩 드롭아웃을 도입하고 추론 시 유효 차원을 제어하는 차단 연산자를 도입한다.
• 역전에서 잠재 공간에 데이터 일관성 단계를 도입하여 역확산을 수행하는 동안 순전 모델 측정값 ${\mathcal A}(\mathcal{D}(z)) = y$를 강제한다.
• 노이즈 제거 업데이트를 프로젝션/그래디언트 데이터 일관성과 잠재 차단과 교대로 수행하는 일반적인 역산 템플릿(알고리즘 1 및 2)을 형식화한다.
• 선형 생성 모델의 노이즈 제거에 대한 이론적 분석을 제공하고 재구성 오차를 모델 복잡도와 노이즈의 함수로 도출한다.

Figure 1 : Medium-complexity priors can outperform both low- and high-complexity alternatives for image reconstruction. We trained three separate generative models with low, medium, and high latent dimensionality. The size of the boxes representing $z$ depicts the latent dimensionality of each model

실험 결과

연구 질문

• RQ1 다양한 역문제에 걸쳐 고정된 복잡도 프라이어에 비해 다중 차원에서 작동하는 잠재 사전이 재구성 품질을 개선하는가?
• RQ2 중첩 드롭아웃이 추론 시 복잡도 제어를 가능하게 하면서도 생성 품질을 유지하는 조정 가능한 잠재 확산 모델을 만들 수 있는가?
• RQ3 주어진 노이즈 및 측정 조건에서 재구성 오차를 최소화하기 위해 조정 가능한 매개변수(잠재 차원)를 어떻게 선택해야 하는가?
• RQ4 조정 가능한 프라이어가 확산, VAE, 정규화 흐름 아키텍처 및 압축 센싱, 인페인팅, 노이즈 제거, 위상 회복과 같은 작업 전반에서 일관된 이점을 제공하는가?
• RQ5 선형 생성 모델에서 노이즈 제거의 최적 복잡도에 대해 어떤 이론적 보장을 확립할 수 있는가?

주요 결과

• 조정 가능한 복잡도 프라이어는 여러 역문제와 아키텍처에 걸쳐 고정 복잡도 기준선보다 재구성 오차를 일관되게 낮춘다.
• 중간 잠재 차원은 특히 낮은 측정 비율에서 과소적합과 노이즈 과적합 사이의 최적 트레이드오프를 자주 제공한다.
• 여러 잠재 차원에 걸쳐 학습된 단일 모델은 재학습 없이 추론 시에 효과적으로 조정될 수 있다.
• 선형 노이즈 제거의 경우 재구성 오차의 명시적 표현을 도출하고 최적 복잡도가 노이즈가 커질수록 감소함을 보여준다.
• 이 방법은 최신 기준선(DPS, LDPS/PSLD 등)을 개선하거나 일치시키며 또한 해당 기준선의 조정 가능 변형도 향상시킨다.
• CelebA, CelebA-HQ, MS COCO, FFHQ의 실증 결과는 조정 가능한 프라이어를 사용할 때 PSNR 및 LPIPS의 개선을 보이며 경쟁력 있는 FID 점수를 나타낸다.

Figure 2 : Intermediate latent dimensionalities yield the best reconstruction at low measurement ratios. We train separate injective flow models for each latent dimensionality $k$ , ranging from $16$ to $456$ , on MNIST images of size $n=32\times 32=1024$ pixels. No parameter sharing is used across