[论文解读] Deep Multi-View Clustering via Multiple Embedding.

Bingqian Lin, Yuan Xie+2 more|arXiv (Cornell University)|Aug 19, 2018

Video Surveillance and Tracking Methods参考文献 36被引用 5

一句话总结

本文提出了一种基于多嵌入的深度多视图聚类方法（DMVC-ME），这是一种端到端框架，通过KL散度联合学习深度特征、多视图融合和聚类分配，以优化软分配。该方法通过捕捉互补视图信息并学习有利于聚类的表示，在图像数据集上实现了卓越的聚类性能。

ABSTRACT

Exploring the information among multiple views usually leads to more promising clustering performance. Most existing multi-view clustering algorithms perform clustering separately: first extracts multiple handcrafted features or deep features, then conducts traditional clustering such as spectral clustering or K-means. However, the learned features may not often work well for clustering. To overcome this problem, we propose the Deep Multi-View Clustering via Multiple Embedding (DMVC-ME), which learns deep embedded features, multi-view fusion mechanism and clustering assignment simultaneously in an end-to-end manner. Specifically, we adopt a KL divergence to refine the soft clustering assignment with the help of a multi-view fused target distribution. The parameters are updated via an efficient alternative optimization scheme. As a result, more clustering-friendly features can be learned and the complementary traits among different views can be well captured. We demonstrate the effectiveness of our approach on several challenging image datasets, where significant superiority can be found over single/multi-view baselines and the state-of-the-art multi-view clustering methods.

研究动机与目标

• 为解决现有多视图聚类方法将特征提取与聚类视为独立阶段所导致的聚类表示次优的问题。
• 通过端到端地联合优化特征学习、多视图融合与聚类分配，学习有利于聚类的深度特征。
• 通过统一的优化框架，利用多视图之间的互补信息，提升聚类性能。
• 通过KL散度对多视图融合的目标分布进行软聚类分配的精炼，从而提升分配质量。

提出的方法

• 该方法采用端到端的训练方案，联合优化用于特征学习、多视图融合与聚类分配的深度神经网络。
• 构建一个多视图融合的目标分布，以KL散度为指导，引导软聚类分配的精炼。
• 优化过程在更新网络参数与精炼聚类分配之间交替进行，实现特征与分配的联合学习。
• 该框架采用共享表示空间，将不同视图的特征进行融合，以增强判别能力。
• 通过KL散度损失将预测的软分配与融合的目标分布对齐，促进一致且准确的聚类。
• 该方法通过端到端方式直接从数据中学习深度表示，避免了手工设计的特征。

实验结果

研究问题

• RQ1 与顺序流水线相比，端到端地联合优化特征学习、多视图融合与聚类分配是否能提升聚类性能？
• RQ2 通过KL散度，多视图融合的目标分布在多大程度上能有效提升软聚类分配的质量？
• RQ3 当多个视图的互补特征被联合优化时，其在多大程度上能改善聚类结果？
• RQ4 所提出的方法是否在基准图像数据集上优于最先进的单视图与多视图聚类基线方法？

主要发现

• 所提出的DMVC-ME方法在多个具有挑战性的图像数据集上，相较于单视图与多视图聚类基线，均取得了显著的性能提升。
• 与顺序方法相比，特征、融合与聚类的端到端联合优化，能生成更具聚类友好性的表示。
• 通过KL散度与多视图融合的目标分布结合，显著提升了软聚类分配的质量。
• 该方法能有效捕捉不同视图之间的互补信息，从而提升整体聚类性能。
• 实验结果表明，在基准数据集上达到了最先进水平的性能，验证了所提框架的有效性。