[论文解读] Score Matching Model for Unbounded Data Score

Dong‐Jun Kim, Seungjae Shin+3 more|arXiv (Cornell University)|Jun 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 10

一句话总结

本文提出了一种新型基于分数的生成模型——无界噪声条件分数网络（UNCSN），通过修改现有的噪声条件分数网络，解决了在零噪声时分数函数发散的问题。该方法引入了一种具有解析可计算对数似然的新型SDE，以及一种平衡的损失函数，从而在无需架构修改的情况下，实现了更稳定且理论基础更坚实的分布建模。

ABSTRACT

Recent advance in score-based models incorporates the stochastic differential equation (SDE), which brings the state-of-the art performance on image generation tasks. This paper improves such score-based models by analyzing the model at the zero perturbation noise. In real datasets, the score function diverges as the perturbation noise ($\sigma$) decreases to zero, and this observation leads an argument that the score estimation fails at $\sigma=0$ with any neural network structure. Subsequently, we introduce Unbounded Noise Conditional Score Network (UNCSN) that resolves the score diverging problem with an easily applicable modification to any noise conditional score-based models. Additionally, we introduce a new type of SDE, so the exact log likelihood can be calculated from the newly suggested SDE. On top of that, the associated loss function mitigates the loss imbalance issue in a mini-batch, and we present a theoretic analysis on the proposed loss to uncover the behind mechanism of the data distribution modeling by the score-based models.

研究动机与目标

• 解决当噪声趋近于零时，基于分数的模型因分数函数发散而失效的问题。
• 开发一种方法，即使在噪声趋近于零的极限情况下，也能保持分数估计的稳定性。
• 提出一种新的随机微分方程（SDE），使得能够精确计算对数似然。
• 设计一种损失函数，以缓解基于分数训练中因小批量内梯度方差导致的损失不平衡问题。
• 在所提出的框架下，对基于分数的模型如何建模数据分布提供理论分析。

提出的方法

• 提出无界噪声条件分数网络（UNCSN），通过修改现有噪声条件分数网络，在不改变网络架构的前提下，处理零噪声极限问题。
• 提出一种新型SDE公式，使得能够精确计算对数似然，这与以往用于基于分数生成模型的SDE不同。
• 推导出一种新的损失函数，通过在小批量之间平衡梯度，减少因分数方差导致的训练不稳定性。
• 分析在新SDE下基于分数模型的理论行为，将损失与数据分布建模过程联系起来。
• 将新SDE和损失函数应用于标准的基于分数的生成建模流程，仅需极少的修改。

实验结果

研究问题

• RQ1 为何在真实数据分布中，当噪声趋近于零时，分数函数会发生发散？
• RQ2 基于分数的模型是否可以通过简单的架构修改，在零噪声极限下保持稳定和准确？
• RQ3 能否构建一种SDE，使得在基于分数的模型中能够实现对数似然的精确计算？
• RQ4 所提出的损失函数如何减少小批量训练中的梯度不平衡？
• RQ5 在新SDE框架下，基于分数的模型通过何种理论机制学习数据分布？

主要发现

• 所提出的UNCSN能有效防止在零噪声时的分数发散，从而在噪声趋近于零的极限下仍能实现稳定的分数估计。
• 新型SDE允许精确计算对数似然，而这是标准基于分数的SDE所无法实现的。
• 所提出的损失函数通过在小批量之间平衡梯度，减少了训练不稳定性，从而改善了优化收敛性。
• 理论分析表明，新损失函数与基于分数模型中底层的数据分布建模过程相一致。
• 该方法与现有基于分数的模型保持兼容，且仅需对网络头部进行极小的修改。