[论文解读] Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data

Minjie Wang, Genevera I. Allen|PubMed|Dec 11, 2019

Face and Expression Recognition参考文献 78被引用 21

一句话总结

本文提出 iGecco+，一种用于混合多视图数据整合聚类与特征选择的凸优化框架，通过视图特定损失函数与联合融合惩罚项识别共有的样本群组。该方法引入自适应偏移组套索惩罚以实现稀疏特征选择，并提出广义多块 ADMM 算法，在高维基因组学与文本数据上实现了卓越的聚类性能。

ABSTRACT

In mixed multi-view data, multiple sets of diverse features are measured on the same set of samples. By integrating all available data sources, we seek to discover common group structure among the samples that may be hidden in individualistic cluster analyses of a single data view. While several techniques for such integrative clustering have been explored, we propose and develop a convex formalization that enjoys strong empirical performance and inherits the mathematical properties of increasingly popular convex clustering methods. Specifically, our Integrative Generalized Convex Clustering Optimization (iGecco) method employs different convex distances, losses, or divergences for each of the different data views with a joint convex fusion penalty that leads to common groups. Additionally, integrating mixed multi-view data is often challenging when each data source is high-dimensional. To perform feature selection in such scenarios, we develop an adaptive shifted group-lasso penalty that selects features by shrinking them towards their loss-specific centers. Our so-called iGecco+ approach selects features from each data view that are best for determining the groups, often leading to improved integrative clustering. To solve our problem, we develop a new type of generalized multi-block ADMM algorithm using sub-problem approximations that more efficiently fits our model for big data sets. Through a series of numerical experiments and real data examples on text mining and genomics, we show that iGecco+ achieves superior empirical performance for high-dimensional mixed multi-view data.

研究动机与目标

• 解决在相同样本集上对不同类型数据（连续型、计数型、分类型、比例型）进行聚类的挑战。
• 通过整合多源数据克服单视图聚类的局限性，以揭示隐藏的共性群组结构。
• 通过识别能区分群组的有信息量特征，实现在高维混合数据中的特征选择。
• 开发一种计算高效的算法，用于在大规模数据集上拟合模型，同时确保收敛至全局最优解。

提出的方法

• 针对不同数据视图使用不同的凸损失函数（如平方误差、偏差、Bregman 散度）来构建整合广义凸聚类（iGecco），以处理非高斯与混合类型数据。
• 在各视图间应用联合融合惩罚，通过鼓励样本在群组分配上的相似性，诱导出共性聚类结构。
• 引入自适应偏移组套索惩罚，使特征向各视图损失特定的中心收缩，从而实现稀疏且可解释的特征选择。
• 开发一种带有子问题近似的广义多块 ADMM 算法，以高效求解优化问题。
• 证明所提出的 ADMM 变体在非光滑、非可分优化问题上的全局收敛性。
• 将框架扩展至 Gecco+ 与 iGecco+，实现对混合数据类型的同时聚类与特征选择。

实验结果

研究问题

• RQ1 统一的凸优化框架能否有效整合具有多样化数据类型（连续型、计数型、分类型、比例型）的混合多视图数据，从而提升聚类性能？
• RQ2 如何有效将特征选择整合到整合聚类中，以识别能区分潜在群组的有信息量特征？
• RQ3 带有子问题近似的广义多块 ADMM 算法能否高效求解所得的高维、非光滑优化问题，并保证收敛性？
• RQ4 iGecco+ 在真实世界高维混合数据（如基因组学与文本数据）上的聚类准确率与特征选择性能是否优于现有方法？
• RQ5 不同损失函数（如偏差、平方误差）如何影响损失特定中心的形成及其导致的聚类结构？

主要发现

• iGecco+ 在合成数据与真实世界数据集（包括基因组学与文本挖掘应用）上均展现出卓越的聚类准确率与特征选择性能。
• 自适应偏移组套索惩罚成功识别出各数据视图中能最好区分所发现群组的相关特征，提升了模型的可解释性与性能。
• 带有子问题近似的广义多块 ADMM 算法显著提升了大规模数据集上的计算效率，相比标准 ADMM 方法大幅缩短运行时间。
• 由于采用凸优化形式，该方法展现出强大的统计与数学性质，包括全局最优性与对数据扰动的稳定性。
• 在 TCGA 多组学数据集上，iGecco+ 有效处理了具有不同分布的数据——高斯分布（基因表达、蛋白质）、比例值（甲基化）与偏态分布（miRNA）——并生成了连贯的聚类结果。
• 在作者数据集上对 Gecco+ 解的可视化结果表明，所选特征能有效分离真实的作者群组，验证了该方法识别生物与上下文上有意义特征的能力。