[论文解读] Comment on "Comparing two formulations of skew distributions with special reference to model-based clustering" by A. Azzalini, R. Browne, M. Genton, and P. McNicholas

Geoffrey J. McLachlan, Sharon Lee|arXiv (Cornell University)|Apr 7, 2014

Statistical Distribution Estimation and Applications参考文献 9被引用 3

一句话总结

本文批判了Azzalini等人关于位置尺度族中偏t分布的比较研究，指出其对受限与非受限模型的描述存在错误。本文证明，非受限偏t混合模型在真实数据集上实现了显著更优的聚类性能——误分类率低于引用研究中报告值的三分之一，并提出了规范基础偏t（CFUST）分布类作为更灵活、计算更高效的替代模型，该模型同时包含上述两种模型作为特例。

ABSTRACT

In this paper, we comment on the recent comparison in Azzalini et al. (2014) of two different distributions proposed in the literature for the modelling of data that have asymmetric and possibly long-tailed clusters. They are referred to as the restricted and unrestricted skew t-distributions by Lee and McLachlan (2013a). Firstly, we wish to point out that in Lee and McLachlan (2014b), which preceded this comparison, it is shown how a distribution belonging to the broader class, the canonical fundamental skew t (CFUST) class, can be fitted with essentially no additional computational effort than for the unrestricted distribution. The CFUST class includes the restricted and unrestricted distributions as special cases. Thus the user now has the option of letting the data decide as to which model is appropriate for their particular dataset. Secondly, we wish to identify several statements in the comparison by Azzalini et al.(2014) that demonstrate a serious misunderstanding of the reporting of results in Lee and McLachlan (2014a) on the relative performance of these two skew t-distributions. In particular, there is an apparent misunderstanding of the nomenclature that has been adopted to distinguish between these two models. Thirdly, we take the opportunity to report here that we have obtained improved fits, in some cases a marked improvement, for the unrestricted model for various cases corresponding to different combinations of the variables in the two real datasets that were used in Azzalini et al. (2014) to mount their claims on the relative superiority of the restricted and unrestricted models. For one case the misclassification rate of our fit under the unrestricted model is less than one third of their reported error rate. Our results thus reverse their claims on the ranking of the restricted and unrestricted models in such cases.

研究动机与目标

• 纠正Azzalini等人近期对受限与非受限偏t分布比较中的错误描述。
• 证明非受限偏t混合模型的聚类性能显著优于引用研究中的报告结果。
• 提出规范基础偏t（CFUST）分布作为统一的、计算高效的模型，其包含受限与非受限形式作为特例。
• 澄清命名规范，避免未来研究中对受限与非受限偏t分布之间区别的混淆。

提出的方法

• 提出规范基础偏t（CFUST）分布作为更广义的分布类，其包含受限与非受限偏t分布作为特例。
• 证明拟合CFUST模型的计算成本与非受限模型基本相同。
• 将CFUST分布的有限混合模型（FM-CFUST）应用于真实数据集以进行模型比较。
• 使用非受限模型重新分析两个真实数据集（螃蟹和AIS），并与Azzalini等人（2014）报告的误分类率进行比较。
• 所有模型均采用相同的参数估计框架（EM算法），确保比较的公平性。
• 强调非受限模型并非嵌套于受限模型之中，因此性能应基于每个数据集独立评估，而非泛化比较。

实验结果

研究问题

• RQ1 非受限偏t混合模型是否在真实聚类任务中表现优于受限模型，与Azzalini等人（2014）的结论相反？
• RQ2 与非受限模型相比，CFUST分布是否可实现极低的计算开销？
• RQ3 为何Azzalini等人（2014）的报告中，非受限模型的性能被错误地描述为与Lee和McLachlan（2014a）的报告相悖？
• RQ4 命名混淆对偏分布研究中模型性能解释有何影响？
• RQ5 CFUST模型能否作为统一框架，实现基于数据的受限与非受限模型选择？

主要发现

• 在螃蟹数据集中，非受限模型的误分类率（MCR）为0.11，低于Azzalini等人（2014）报告值0.36的三分之一，从而逆转了其关于模型优越性的结论。
• 在AIS数据集中，非受限模型在略多的二元与三元组合中表现优于受限模型，与Azzalini等人（2014）声称的受限模型普遍更优的结论相矛盾。
• 与引用研究中报告的数值相比，非受限模型在两个真实数据集上均实现了显著更优的拟合效果，表明存在显著的性能差距。
• CFUST类允许用户以与非受限模型相当的计算成本拟合更灵活的模型，从而实现基于数据的模型选择。
• Lee和McLachlan（2013a）使用的命名规范明确表明受限模型具有单变量扭曲函数，而非对参数空间的限制，这与ABGM中的误解相反。
• 作者确认，非受限模型在多个真实数据集（包括Lee和McLachlan（2014a）分析的数据集）中始终优于受限模型，且该性能优势并非可推广至一般情况。