[论文解读] Concrete Score Matching: Generalized Score Matching for Discrete Data

Chenlin Meng, Kristy Choi+2 more|arXiv (Cornell University)|Nov 2, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了混凝土得分匹配（Concrete Score Matching, CSM），这是一种新颖的框架，通过基于预定义邻域结构中的局部方向变化定义新的‘混凝土得分’，将得分匹配推广至离散数据。通过使用曼哈顿距离度量变化，CSM 在离散空间中实现了类似梯度的优化，从而在合成数据、表格数据和高维图像数据集上的密度估计任务中取得了最先进性能。

ABSTRACT

Representing probability distributions by the gradient of their density functions has proven effective in modeling a wide range of continuous data modalities. However, this representation is not applicable in discrete domains where the gradient is undefined. To this end, we propose an analogous score function called the "Concrete score", a generalization of the (Stein) score for discrete settings. Given a predefined neighborhood structure, the Concrete score of any input is defined by the rate of change of the probabilities with respect to local directional changes of the input. This formulation allows us to recover the (Stein) score in continuous domains when measuring such changes by the Euclidean distance, while using the Manhattan distance leads to our novel score function in discrete domains. Finally, we introduce a new framework to learn such scores from samples called Concrete Score Matching (CSM), and propose an efficient training objective to scale our approach to high dimensions. Empirically, we demonstrate the efficacy of CSM on density estimation tasks on a mixture of synthetic, tabular, and high-dimensional image datasets, and demonstrate that it performs favorably relative to existing baselines for modeling discrete data.

研究动机与目标

• 为解决传统得分匹配的局限性，其依赖于梯度，但在梯度未定义的离散领域中失效。
• 通过利用结构化邻域信息，为离散数据定义有意义的（Stein）得分的类比。
• 开发一种可扩展的训练目标，用于从样本中学习离散得分函数，从而实现对高维离散数据的应用。
• 证明所提出的混凝土得分匹配框架在多种离散数据模态的密度估计任务中优于现有基线方法。

提出的方法

• 提出混凝土得分作为（Stein）得分的推广，定义为离散空间中概率相对于局部方向变化的变化率。
• 使用曼哈顿距离度量方向变化，从而得到一种适用于离散领域的新型得分函数，同时在欧几里得距离下可恢复连续（Stein）得分。
• 引入混凝土得分匹配（CSM），一种通过可处理的训练目标从数据样本中学习混凝土得分的框架。
• 通过利用条件概率和邻域结构，开发一种可扩展至高维数据的高效学习目标。
• 通过混凝土得分公式化，将连续得分匹配中的技术（如去噪得分匹配）适配至离散设置。
• 采用重参数化技巧和基于边缘化的简化方法，推导出稳定且可微的训练目标。

实验结果

研究问题

• RQ1 是否可以为真实梯度未定义的离散概率分布定义一种类似代理梯度的函数？
• RQ2 如何利用结构化邻域信息将（Stein）得分的概念推广至离散领域？
• RQ3 能否从数据样本中推导出一种可扩展且稳定的训练目标，以学习此类广义得分？
• RQ4 所提出的混凝土得分匹配框架在离散数据的密度估计任务中是否能实现与现有方法相当的性能？
• RQ5 该框架是否可成功扩展至高维离散数据，如图像和表格数据？

主要发现

• 混凝土得分通过基于曼哈顿距离的方向扰动测量局部概率变化，成功地将（Stein）得分推广至离散领域。
• 所提出的混凝土得分匹配（CSM）框架在合成数据、表格数据和高维图像数据集上的密度估计任务中表现出色。
• 使用修正后的目标（公式32）训练的模型生成的样本比使用原始含错版本（公式31）训练的模型更合理。
• 该方法在高维离散数据上表现出良好的可扩展性，证明了将基于得分的生成建模应用于结构化离散分布的可行性。
• 实证结果表明，CSM在离散密度估计中优于现有基线方法，尤其在捕捉表格数据和图像数据中的复杂依赖关系方面表现突出。
• 该框架在连续与离散得分匹配之间建立了原理清晰的联系，使得连续得分模型的最新进展能够有效迁移至离散设置。