[论文解读] Estimating Density Models with Truncation Boundaries

Song Liu, Takafumi Kanamori+1 more|arXiv (Cornell University)|Oct 9, 2019

Bayesian Methods and Mixture Models参考文献 2被引用 7

一句话总结

该论文提出了一种基于距离加权函数的广义得分匹配方法，用于估计归一化常数不可求解的截断密度模型中的参数。该方法确保了一致性，并与最小斯坦因差异建立联系，即使在复杂边界下也能实现有效的参数估计。

ABSTRACT

Truncated densities are probability density functions defined on truncated domains. They share the same parametric form with their non-truncated counterparts up to a normalization term. Since the computation of their normalization term is usually infeasible, unnormalized models are used for parameter estimation. Score Matching is a powerful tool for fitting parameters in unnormalized models. However, it cannot be straightforwardly applied here as boundary conditions used to derive a tractable objective are usually not satisfied by truncated distributions. In this paper, we study parameter estimation for truncated probability densities using generalized SM. The choice of the weight function in generalized SM is critical to provide a computationally tractable and statistically preferable estimator even for complicated boundaries. As to the weight function, we use the distance function that is defined as the distance from a point in the domain to the boundary of the domain. We show the consistency of the proposed method as well as its link with the minimum Stein discrepancy estimator. The usefulness of our method is demonstrated by numerical experiments and real-world experiments.

研究动机与目标

• 解决归一化常数不可求解的截断概率密度中的参数估计挑战。
• 克服标准得分匹配方法在截断分布中无法满足边界条件的局限性。
• 为具有任意边界的截断模型开发一种计算上可行且统计上可靠的估计方法。
• 建立理论一致性，并与最小斯坦因差异建立联系，以改善统计性质。

提出的方法

• 提出一种适用于截断区域的广义得分匹配框架，其中引入了定制化的权重函数。
• 使用距离函数——即点到区域边界的最短距离——作为权重函数，以确保边界条件的满足。
• 推导出一种可计算的目标函数，避免显式计算归一化常数。
• 在较弱的正则性条件下，证明所得到估计量的一致性。
• 建立所提方法与最小斯坦因差异估计量之间的理论联系。
• 在合成数据和真实世界数据上应用该方法，以验证其性能。

实验结果

研究问题

• RQ1 基于距离加权函数的广义得分匹配方法能否为截断密度模型提供一致的估计量？
• RQ2 权重函数的选择如何影响截断模型中参数估计的统计效率与计算可及性？
• RQ3 所提方法与最小斯坦因差异估计量之间存在何种理论关系？
• RQ4 该方法能否在无需显式归一化的情况下处理复杂且非凸的截断边界？
• RQ5 在模拟和真实世界设置下，该方法与基线方法相比的实证表现如何？

主要发现

• 在较弱正则性条件下，所提方法在截断密度的参数估计中实现了的一致性。
• 使用距离函数作为权重函数，确保了得分匹配所要求的边界条件得以满足。
• 该方法在理论上与最小斯坦因差异估计量相联系，表明其具有有利的统计性质。
• 数值实验表明，该方法在具有复杂边界的合成数据上表现出鲁棒性和高精度。
• 真实世界实验证实了该方法在归一化不可行的场景中的实际应用价值。
• 该方法避免了显式归一化的需求，使其可扩展至高维或不规则边界区域。