[论文解读] Functional Factorial K-means Analysis

Michio Yamamoto, Yoshikazu Terada|arXiv (Cornell University)|Nov 3, 2013

Sensory Analysis and Statistical Methods参考文献 27被引用 4

一句话总结

本文提出功能性因子k均值（FFKM）分析，一种用于多变量函数型数据的联合聚类与降维方法，通过交替最小二乘法同时优化聚类结构与低维子空间表示。该方法克服了串联分析与函数型主成分k均值（FPCK）的局限性，通过在低维函数子空间中联合估计聚类分配与权重函数，相较于现有方法，结果更具可解释性与准确性。

ABSTRACT

A new procedure for simultaneously finding the optimal cluster structure of multivariate functional objects and finding the subspace to represent the cluster structure is presented. The method is based on the $k$-means criterion for projected functional objects on a subspace in which a cluster structure exists. An efficient alternating least-squares algorithm is described, and the proposed method is extended to a regularized method for smoothness of weight functions. To deal with the negative effect of the correlation of coefficient matrix of the basis function expansion in the proposed algorithm, a two-step approach to the proposed method is also described. Analyses of artificial and real data demonstrate that the proposed method gives correct and interpretable results compared with existing methods, the functional principal component $k$-means (FPCK) method and tandem clustering approach. It is also shown that the proposed method can be considered complementary to FPCK.

研究动机与目标

• 开发一种可同时识别多变量函数型数据最优聚类结构与低维子空间的方法。
• 克服串联分析的局限性，即维度缩减与聚类分步进行，导致结果次优。
• 解决FPCK分析中的固有缺陷，即损失函数未能最优对齐聚类与子空间估计。
• 为FPCK提供互补替代方案，实现更具可解释性的权重函数与聚类结构。
• 通过交替最小二乘法实现聚类分配与子空间投影的高效迭代估计。

提出的方法

• 该方法在聚类结构存在的共同低维子空间上，对投影的函数型对象应用k均值准则。
• 采用交替最小二乘法，联合优化聚类分配与子空间投影。
• 通过正则化确保基展开中估计权重函数的平滑性。
• 引入两步法以减轻基函数系数矩阵相关性带来的负面影响。
• 通过正交Procrustes旋转估计正交变换矩阵，从主成分得分中恢复可解释的权重函数。
• 最终通过估计的系数矩阵，将权重函数重构为基函数的线性组合。

实验结果

研究问题

• RQ1 在函数型数据中，联合聚类与降维的方法是否能优于分步进行的串联分析？
• RQ2 与函数型主成分k均值（FPCK）相比，所提方法在聚类准确率与可解释性方面表现如何？
• RQ3 基函数系数的相性结构对聚类性能有何影响，如何缓解其影响？
• RQ4 正则化是否能提升子空间中估计权重函数的平滑性与可解释性？
• RQ5 所提方法是否与FPCK具有互补性，特别是在恢复有意义的子空间结构方面？

主要发现

• 在人工数据与真实数据上，所提FFKM方法产生的聚类结构比串联分析与FPCK更准确且更具可解释性。
• 该方法成功识别出能最优表示聚类结构的共同低维子空间，避免了分步方法的次优性。
• 两步法有效降低了相关基系数的影响，提升了数值稳定性与估计准确性。
• 对权重函数的正则化增强了平滑性，从而获得更稳定、更具可解释性的子空间表示。
• 该方法与FPCK表现出互补关系，尤其在恢复有意义的权重函数与聚类模式方面。
• 实证结果表明，在复杂聚类结构与高维函数型数据场景下，FFKM的聚类性能优于FPCK。