[论文解读] Iterative Amortized Hierarchical VAE

Simon W. Penninga, Ruud J. G. van Sloun|arXiv (Cornell University)|Jan 22, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

IA-HVAE 将初始摊销的 HVAE 推断与在频域可分离的迭代解码梯度 refined 相结合，在逆问题中实现了比原生 HVAE 更快的推断和更好的重建效果。

ABSTRACT

In this paper we propose the Iterative Amortized Hierarchical Variational Autoencoder (IA-HVAE), which expands on amortized inference with a hybrid scheme containing an initial amortized guess and iterative refinement with decoder gradients. We achieve this by creating a linearly separable decoder in a transform domain (e.g. Fourier space), enabling real-time applications with very high model depths. The architectural change leads to a 35x speed-up for iterative inference with respect to the traditional HVAE. We show that our hybrid approach outperforms fully amortized and fully iterative equivalents in accuracy and speed respectively. Moreover, the IAHVAE shows improved reconstruction quality over a vanilla HVAE in inverse problems such as deblurring and denoising.

研究动机与目标

• 为了在逆问题中实现快速、准确的后验推断，采用混合摊销+迭代的 HVAE。
• 引入一个频域、线性可分解的解码器，以实现逐层梯度的 Refinement。
• 在保持层级推断初始化摊销的前提下，降低迭代推断成本，同时在重建质量上超越或接近完全摊销或完全迭代的方法。

提出的方法

• 在变换域中扩展 HVAE，使解码器线性解码以实现无需对整个层级进行完整反向传播即可访问层级梯度。
• 将潜在空间分成子集；对每个子集使用解码器梯度来计算对重建的贡献。
• 在迭代 refinement 步骤中采用 MAP 风格更新，包含显式先验项和重建损失（方程式 7）。
• 在傅里叶域对图像进行分解，使解码器在一个线性可分的基（H）上工作并在频率空间生成。
• 在潜在层上执行自顶向下的迭代 refinement，同时为每层保留一个摊销初始化（算法 1）。
• 在 CIFAR10 和 fastMRI 数据集上进行对比实验，比较摊销、迭代和混合 IA-HVAE 在均方误差（MSE）、负对数似然（NLL）、FID 和运行时方面的表现。

实验结果

研究问题

• RQ1 混合摊销+迭代 HVAE 是否能在保持或提升精度的同时实现比完全迭代 HVAE 更快的推断？
• RQ2 是否强制执行线性、频域解码器能够在不产生二次成本的情况下实现有效的层级梯度 Refinement？
• RQ3 IA-HVAE 在实值信号与复值信号，以及不同数据尺度的分层 VAE 中的表现如何？
• RQ4 相较于原生 HVAE，IA-HVAE 在去模糊、去噪等逆问题中是否更有利？

主要发现

Method	N	MSE ↓	NLL (nats/dim) ↓	FID ↓	Time (s) ↓
Amortized inference	0	18.27	0.86	31.6	0.051
Iterative inference	5	29.10*	0.43*	77.6*	0.068
Iterative inference	10	24.91*	0.65*	55.4*	0.074
Iterative inference	20	22.75	0.71	37.0	0.095
Iterative inference	25	20.54	0.73	34.5	0.103
Iterative inference	50	18.01	0.78	31.0	0.193
Hybrid inference	5	18.09	0.84	31.2	0.130
Hybrid inference	10	18.02	0.83	31.0	0.134
Hybrid inference	20	17.91	0.82	30.9	0.149
Hybrid inference	25	17.86	0.80	30.8	0.156
Hybrid inference	50	17.84	0.80	30.8	0.241
Amortized inference (fastMRI)	0	161.2	0.69	47.1	0.081
Iterative inference (fastMRI)	5	228.5*	0.44*	98.2*	0.093
Iterative inference (fastMRI)	10	192.4*	0.48*	87.3*	0.102
Iterative inference (fastMRI)	20	155.6	0.60	46.5	0.131
Iterative inference (fastMRI)	25	148.2	0.61	45.9	0.192
Iterative inference (fastMRI)	50	145.0	0.59	45.5	0.293
Hybrid inference (fastMRI)	5	158.2	0.65	47.0	0.162
Hybrid inference (fastMRI)	10	153.3	0.62	46.4	0.169
Hybrid inference (fastMRI)	20	149.6	0.61	46.1	0.186
Hybrid inference (fastMRI)	25	148.2	0.60	45.9	0.192
Hybrid inference (fastMRI)	50	145.0	0.59	45.5	0.293

• IA-HVAE 在较深网络的迭代推断中相比原生 HVAE 最高实现了约 35x 的加速。
• 混合 IA-HVAE 在推断质量上始终优于摊销式 HVAE，并以更少的时间接近或达到迭代 HVAE 的性能。
• 在 CIFAR10 上，混合 IA-HVAE 在多次迭代数下获得更低的 MSE，并在 NLL 与 FID 方面具有竞争力，优于摊销或纯迭代方法。
• 在 fastMRI 上，混合推断的 IA-HVAE 具有更好的 MSE 和 NLL，且 FID 相当或更好，且时间与完全迭代方法相比接近或更短。
• 在去逆问题（去模糊和去噪）中，IA-HVAE 相较于原生 HVAE 提供更优的重建，当摊销推断失效时能够将潜在向量重新引导回数据流形。
• 频域条件可视化显示由 IA-HVAE 解码器结构控制的频率级层次生成。