[论文解读] Generative Partial Multi-View Clustering

Qianqian Wang, Zhengming Ding+3 more|arXiv (Cornell University)|Mar 29, 2020

Video Surveillance and Tracking Methods参考文献 46被引用 13

一句话总结

本文提出 GP-MVC，一种生成式部分多视图聚类框架，通过视图特定的生成对抗网络联合学习共享表征并生成缺失视图，从而在不完整多视图数据上实现有效聚类。该方法在多个基准数据集（包括大规模数据集 MNIST）上实现了最先进性能，得益于对抗训练、自适应融合与端到端优化。

ABSTRACT

Nowadays, with the rapid development of data collection sources and feature extraction methods, multi-view data are getting easy to obtain and have received increasing research attention in recent years, among which, multi-view clustering (MVC) forms a mainstream research direction and is widely used in data analysis. However, existing MVC methods mainly assume that each sample appears in all the views, without considering the incomplete view case due to data corruption, sensor failure, equipment malfunction, etc. In this study, we design and build a generative partial multi-view clustering model, named as GP-MVC, to address the incomplete multi-view problem by explicitly generating the data of missing views. The main idea of GP-MVC lies at two-fold. First, multi-view encoder networks are trained to learn common low-dimensional representations, followed by a clustering layer to capture the consistent cluster structure across multiple views. Second, view-specific generative adversarial networks are developed to generate the missing data of one view conditioning on the shared representation given by other views. These two steps could be promoted mutually, where learning common representations facilitates data imputation and the generated data could further explores the view consistency. Moreover, an weighted adaptive fusion scheme is implemented to exploit the complementary information among different views. Experimental results on four benchmark datasets are provided to show the effectiveness of the proposed GP-MVC over the state-of-the-art methods.

研究动机与目标

• 解决因传感器故障、数据损坏或设备故障导致部分视图缺失的不完整多视图聚类挑战。
• 克服现有部分多视图聚类（PMVC）方法依赖零值或均值填充的局限性，此类方法会降低聚类性能。
• 开发一个统一框架，同时学习共享的低维表征并利用 GANs 生成逼真的缺失视图。
• 通过避免 NMF 或基于核的方法中常见的矩阵求逆与逆运算，实现在大规模数据集上的有效聚类。
• 通过加权自适应融合机制，利用视图间的互补信息，提升聚类性能。

提出的方法

• 使用多视图自编码器从可用视图中学习共享的低维表征，捕捉一致的聚类结构。
• 引入视图特定的生成对抗网络（GANs），基于其他视图的共享表征生成缺失视图数据。
• 使用对抗训练损失确保生成数据逼真且与真实数据难以区分，从而提升表征质量。
• 实现加权自适应融合层，根据各视图的可靠性及其对聚类的贡献度，动态融合不同视图的特征。
• 集成基于 KL 散度的聚类损失，促使共享表征与预设的聚类分布对齐。
• 使用复合损失函数（结合自编码器、对抗训练、融合与聚类损失）对整个模型进行端到端优化。

实验结果

研究问题

• RQ1 生成模型是否能在不依赖零值或均值填充的情况下，有效重建多视图聚类中的缺失视图？
• RQ2 共享表征与视图生成的联合学习在不完整多视图数据上的聚类性能提升方面发挥何种作用？
• RQ3 所提出的加权自适应融合机制在利用视图间互补信息方面，能在多大程度上提升聚类性能？
• RQ4 所提方法是否可扩展至大规模数据集（如完整 MNIST），而现有方法因内存限制而失效？
• RQ5 损失函数的各个组成部分（如自编码器、对抗训练、聚类）对最终聚类性能的贡献如何？

主要发现

• GP-MVC 在四个基准数据集上实现了最先进聚类准确率，在 HW 数据集上缺失比例为 0.9 时，相比最佳基线最高提升 5.8%。
• 消融研究证实，联合使用所有损失组件（AE、AT、FU、KL）可获得最高聚类准确率，在 HW 数据集上缺失比例为 0.9 时准确率达到 0.9508。
• 模型成功生成逼真的缺失视图样本，如图 5 所示，随着配对数据增多，生成质量持续提升。
• GP-MVC 是唯一能在高缺失比例（高达 0.9）下对完整 60,000 个样本的 MNIST 数据集进行聚类的方法，而其他方法因内存限制而失败。
• 引入对抗训练与自适应融合显著提升性能，缺失比例为 0.9 时，准确率从 0.7165（仅 AE + AT）提升至 0.9508（所有损失组件）。
• 模型在不同缺失比例下表现出强鲁棒性，即使在极端缺失率（0.9）下仍保持一致的性能增益，表明其具备出色的泛化能力。