[论文解读] Directional Statistics in Machine Learning: a Brief Review

Suvrit Sra|arXiv (Cornell University)|May 1, 2016

Face and Expression Recognition参考文献 46被引用 27

一句话总结

本文对机器学习中的方向统计进行了简明综述，重点介绍用于建模超球面和射影空间上单位范数向量的冯·莫伊斯-费舍尔（vMF）分布和沃森（Watson）分布。文章概述了最大似然估计与基于EM的混合模型方法，并在文本和轴对称数据上展示了其聚类性能优于欧几里得方法。

ABSTRACT

The modern data analyst must cope with data encoded in various forms, vectors, matrices, strings, graphs, or more. Consequently, statistical and machine learning models tailored to different data encodings are important. We focus on data encoded as normalized vectors, so that their "direction" is more important than their magnitude. Specifically, we consider high-dimensional vectors that lie either on the surface of the unit hypersphere or on the real projective plane. For such data, we briefly review common mathematical models prevalent in machine learning, while also outlining some technical aspects, software, applications, and open mathematical challenges.

研究动机与目标

• 介绍方向统计作为建模归一化数据的合理框架，其中方向的重要性超过幅度。
• 回顾适用于单位超球面和实射影空间上数据的关键分布——冯·莫伊斯-费舍尔（vMF）和沃森（Watson）分布。
• 提出针对这些分布混合模型的最大似然估计与EM算法。
• 展示方向模型在聚类任务中的有效性，尤其适用于文本和轴对称数据。
• 强调在贝叶斯模型、隐马尔可夫模型（HMM）以及深度生成模型中应用方向统计所面临的开放挑战与机遇。

提出的方法

• 使用冯·莫伊斯-费舍尔（vMF）分布对单位超球面 $\mathbb{S}^{p-1}$ 上的数据进行建模，由均值方向 $\mu$ 和集中度 $\kappa$ 参数化，概率密度为 $p_{\text{vmf}}(x;\mu,\kappa) = c_p(\kappa) e^{\kappa \mu^T x}$。
• 在 $\mathbb{P}^{p-1}$ 上对轴对称数据应用沃森（Watson）分布，其中 $x$ 与 $-x$ 视为等价，概率密度为 $p_{\text{wat}}(x;\mu,\kappa) = d_p(\kappa) e^{\kappa (\mu^T x)^2}$。
• 采用期望最大化（EM）算法对vMF和Watson分布的混合模型进行参数估计。
• 使用归一化互信息（NMI）作为聚类质量的外部评估指标。
• 实现基于软分配的EM算法以拟合vMF混合模型（movMF），并与真实数据上的LDA和EDCM进行性能比较。
• 证明基于沃森分布混合模型的直径聚类（diametrical clustering）作为EM的极限情形，能够成功恢复真实的轴对称聚类。

实验结果

研究问题

• RQ1 方向统计如何提升归一化数据（如文本向量或方向特征）的聚类性能？
• RQ2 冯·莫伊斯-费舍尔和沃森分布在流形上的关键统计特性及参数估计技术是什么？
• RQ3 基于EM的vMF和Watson分布混合模型在多大程度上优于标准欧几里得聚类及LDA等概率模型？
• RQ4 集中度参数 $\kappa$ 如何影响方向分布的可识别性与估计精度？
• RQ5 标准k-means在应用于方向或轴对称数据时存在哪些局限性？方向模型如何克服这些局限？

主要发现

• 基于EM的vMF分布混合模型参数估计在模拟数据上表现出高精度，$\kappa$ 的最差相对误差为0.6%，$\pi$ 的最差相对误差为0.2%。
• 在'bigsim'数据集上，EM算法以高保真度恢复了真实的vMF参数，表现为最差情况下的均值方向内积为0.994。
• 在Slashdot数据集上，vMF混合模型（moVMF）在 $K=6$ 和 $K=7$ 时分别取得NMI分数0.65和0.39，优于LDA和EDCM。
• 尽管使用非优化的MATLAB代码，moVMF模型在作者实现中比LDA和EDCM快3至5倍。
• 基于沃森分布混合模型的直径聚类成功恢复了真实的轴对称聚类，而标准k-means因球面上质心位置错误而失败。
• 结果表明沃森分布适用于建模轴对称数据，如方向性或对称特征表示。