[论文解读] Improved Autoregressive Modeling with Distribution Smoothing
该论文提出了一种两阶段自回归建模方法，通过先对数据分布加噪以平滑化，再在平滑后的分布上训练自回归模型，最后通过基于梯度的去噪或条件建模方式对样本进行去噪，从而显著提升样本质量。该方法在合成数据集和真实世界图像数据集上均显著提升了样本质量，同时保持了具有竞争力的似然性能，其灵感来源于对抗性防御中的随机平滑方法。
While autoregressive models excel at image compression, their sample quality is often lacking. Although not realistic, generated images often have high likelihood according to the model, resembling the case of adversarial examples. Inspired by a successful adversarial defense method, we incorporate randomized smoothing into autoregressive generative modeling. We first model a smoothed version of the data distribution, and then reverse the smoothing process to recover the original data distribution. This procedure drastically improves the sample quality of existing autoregressive models on several synthetic and real-world image datasets while obtaining competitive likelihoods on synthetic datasets.
研究动机与目标
- 解决自回归模型在真实世界图像数据集上尽管似然性能优异但样本质量较差的问题。
- 缓解数据分布中高Lipschitz常数和流形结构带来的挑战。
- 通过平滑数据分布来减少自回归生成过程中的误差累积。
- 将此前用于对抗性防御的随机平滑方法适配至生成建模任务。
- 实现在不牺牲似然性能的前提下生成高保真度样本。
提出的方法
- 对数据分布施加对称且平稳的噪声（如高斯噪声），以创建平滑版本，从而降低密度突变。
- 在平滑后的分布上训练自回归模型，以学习更稳定且完全支持的密度分布。
- 通过去噪过程逆向恢复原始分布：可采用基于梯度的去噪方法，或使用条件自回归模型从噪声输入中恢复原始数据。
- 通过从对噪声鲁棒的平滑分布出发，利用去噪步骤生成高质量样本。
- 支持除高斯分布外的灵活噪声分布，相较于先前的去噪方法具有更广泛的应用潜力。
- 将两阶段流程无缝集成至现有自回归模型中，无需修改其架构。
实验结果
研究问题
- RQ1对数据分布进行随机平滑是否能在不降低似然性能的前提下提升自回归模型的样本质量？
- RQ2平滑数据分布在多大程度上能缓解真实世界数据中高Lipschitz常数和流形结构的影响？
- RQ3两阶段方法（在平滑分布上学习并进行去噪）是否在样本保真度上优于标准自回归建模？
- RQ4该方法是否可泛化至其他任务，如图像修复和去噪？
- RQ5噪声尺度的选择如何影响样本质量与似然性能之间的权衡？
主要发现
- 所提方法在合成数据集和真实世界图像数据集（包括CIFAR-10和CelebA）上均显著提升了样本质量，同时在合成数据上保持了具有竞争力的似然性能。
- 在2D合成数据集上，该方法在样本质量上优于RealNVP，人类观察者更偏好来自平滑模型的样本。
- 在CIFAR-10上，该方法实现了10.2的Fréchet Inception Distance（FID）分数，显著优于基线自回归模型。
- 即使原始模型样本质量较差，该方法仍能实现高质量图像生成，展现出对误差累积的强鲁棒性。
- 该方法可泛化至图像修复和去噪任务，表明去噪头可被复用于下游任务。
- 消融实验确认，对数据分布进行平滑——而非对模型进行平滑——是提升样本质量的最关键因素。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。