[论文解读] Anytime Sampling for Autoregressive Models via Ordered Autoencoding

Yilun Xu, Yang Song+5 more|arXiv (Cornell University)|Feb 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 6

一句话总结

本文提出了一种基于有序自编码器的即用采样方法，用于自回归模型，通过重建重要性对潜在表征进行结构化。通过在这些有序离散码上训练Transformer，该方法实现了在计算量减少时样本质量的平稳下降——在保持近最先进FID分数的同时（例如，在60%–80%潜在维度下FID下降小于1.5），支持在不重新训练的情况下实时适应计算约束。

ABSTRACT

Autoregressive models are widely used for tasks such as image and audio generation. The sampling process of these models, however, does not allow interruptions and cannot adapt to real-time computational resources. This challenge impedes the deployment of powerful autoregressive models, which involve a slow sampling process that is sequential in nature and typically scales linearly with respect to the data dimension. To address this difficulty, we propose a new family of autoregressive models that enables anytime sampling. Inspired by Principal Component Analysis, we learn a structured representation space where dimensions are ordered based on their importance with respect to reconstruction. Using an autoregressive model in this latent space, we trade off sample quality for computational efficiency by truncating the generation process before decoding into the original data space. Experimentally, we demonstrate in several image and audio generation tasks that sample quality degrades gracefully as we reduce the computational budget for sampling. The approach suffers almost no loss in sample quality (measured by FID) using only 60\% to 80\% of all latent dimensions for image data. Code is available at https://github.com/Newbeeer/Anytime-Auto-Regressive-Model .

研究动机与目标

• 在动态计算约束下实现自回归生成的自适应，允许在任何时间点中断采样。
• 解决标准自回归模型需要完整顺序计算、无法根据设备能力调整的局限性。
• 开发一个单一模型，支持根据运行时资源实时权衡样本质量与推理速度。
• 将有序表征的概念从PCA扩展到离散潜在空间（如VQ-VAEs），以应用于自回归建模。
• 证明在有序潜在空间中截断生成过程可实现样本质量的平滑下降，损失最小。

提出的方法

• 训练一个有序VQ-VAE，学习一种按重建重要性排序的潜在空间，使用可微分排序目标。
• 在有序潜在空间中应用标准自回归模型（如Transformer），其中高排名维度优先生成。
• 通过在潜在序列的任意点截断自回归生成并解码部分码，实现即用采样。
• 使用蒙特卡洛估计提高高维潜在表示的训练效率。
• 利用解码速度快的特性，使推理时间与所用潜在维度数成线性关系。
• 可与现有加速技术（如缓存或蒸馏）结合，且不损失样本质量。

实验结果

研究问题

• RQ1 我们能否设计一种自回归模型，通过在生成过程的任意阶段中断，实现即用采样？
• RQ2 在按重建重要性排序的潜在空间中进行训练，是否能实现计算减少时样本质量的平稳下降？
• RQ3 在保持高样本质量的前提下，可将生成中使用的潜在维度数减少到何种程度？
• RQ4 该方法是否可一致地应用于图像和音频生成任务？
• RQ5 在不同计算预算下，截断样本的质量与完整生成基线相比如何？

主要发现

• 在CIFAR-10和CelebA数据集上，模型仅使用60%至80%的潜在维度即可实现接近理想的样本质量，FID下降极小（例如，FID点数下降小于1.5）。
• 样本质量随截断而平稳下降，展示了在不同计算预算下速度与保真度之间的平滑权衡。
• 在VCTK语音数据集上，模型首先生成低频分量，随着更多潜在维度的引入，逐步细化高频细节。
• 该方法可在不重新训练的情况下实时适应设备特定的计算约束，支持在异构硬件上部署。
• 该方法与现有加速技术（如缓存和知识蒸馏）兼容，可应用且不损失样本质量。
• 有序自编码器的训练稳定且可扩展，即使在高维表示下也优于先前需要复杂正则化或几何分布的方法。