[论文解读] Methods to integrate multinormals and compute classification measures

Abhranil Das, Wilson S. Geisler|arXiv (Cornell University)|Dec 23, 2020

Bayesian Methods and Mixture Models参考文献 21被引用 50

一句话总结

该论文开发了数学方法和开源软件，用于在任意域上对多元正态分布进行积分，并计算Bayes最优及其他分类器的分类度量。

ABSTRACT

Univariate and multivariate normal probability distributions are widely used when modeling decisions under uncertainty. Computing the performance of such models requires integrating these distributions over specific domains, which can vary widely across models. Besides some special cases, there exist no general analytical expressions, standard numerical methods or software for these integrals. Here we present mathematical results and open-source software that provide (i) the probability in any domain of a normal in any dimensions with any parameters, (ii) the probability density, cumulative distribution, and inverse cumulative distribution of any function of a normal vector, (iii) the classification errors among any number of normal distributions, the Bayes-optimal discriminability index and relation to the operating characteristic, (iv) ways to scale the discriminability of two distributions, (v) dimension reduction and visualizations for such problems, and (vi) tests for how reliably these methods may be used on given data. We demonstrate these tools with vision research applications of detecting occluding objects in natural scenes, and detecting camouflage.

研究动机与目标

• 在使用正态分布时，动机是需要在不确定性下计算模型的性能。
• 提供将正态分布在任意域上积分以及处理正态向量函数的一般数学框架。
• 开发算法和软件，在复杂域及其二次形式上计算正态分布的概率、概率密度函数、累积分布函数和逆累积分布函数。
• 推导在多个正态分布之间进行分类的Bayes最优判决规则，并将其与区辨能力度量如 d' 相关联。

提出的方法

• 广义卡方方法，用于在二次域上积分多元正态分布并推导二次形式的分布。
• 射线追踪法，通过将变量标准化为球坐标并沿射线追踪边界穿越来在任意域上对正态分布进行积分。
• 通过函数-概率映射，计算正态向量任意函数的概率密度函数、累积分布函数和逆累积分布函数。
• 推导两个及以上正态类别的Bayes最优分类规则，并通过广义卡方分布表达误差率。
• 高维正态积分的降维与可视化技术。
• 软件实现为 Matlab 工具箱 ‘Integrate and classify normal distributions’，源代码托管在 GitHub。

实验结果

研究问题

• RQ1 在任意维度、任意均值和协方差的正态分布，如何在任意域上进行积分？
• RQ2 如何计算正态向量任意函数的分布（概率密度函数、累积分布函数、逆累积分布函数）？
• RQ3 在给定先验和成本结构下，区分任意数量的正态分布时，如何量化分类性能？
• RQ4 有哪些高效方法来降维并可视化高维正态积分问题？
• RQ5 广义卡方法和射线追踪法在具有代表性的问题中的准确性和速度如何？

主要发现

• 论文提供在任意二次域及更一般域内计算正态向量概率的方法。
• 广义卡方方法给出一个1D积分的概率，便于对复杂二次型进行实际计算。
• 射线追踪法通过追踪径向穿越并跨射线求和概率，在任意域上实现积分。
• 对两个正态分布的Bayes最优判别边界推导为二次型，从而计算误差率。
• 作者在多个视觉科学应用问题上演示了两种方法的准确性和运行速度，包括对象遮挡和伪装检测。
• 该工作提供开源的 Matlab 工具箱以及 GitHub 源代码，便于实际使用。