[论文解读] Jointly Deep Multi-View Learning for Clustering Analysis

Bingqian Lin, Yuan Xie+3 more|arXiv (Cornell University)|Aug 19, 2018

Remote-Sensing Image Classification参考文献 27被引用 12

一句话总结

本文提出了一种新颖的深度多视图聚类框架（DMJC），通过联合优化深度特征学习、多视图融合与聚类分配，实现了端到端的联合学习。通过引入两种变体——DMJC-S（通过软分配实现隐式融合）与DMJC-T（通过辅助目标分布实现显式融合），该方法在六个图像数据集上取得了最先进性能，显著提升了聚类准确率。

ABSTRACT

In this paper, we propose a novel Joint framework for Deep Multi-view Clustering (DMJC), where multiple deep embedded features, multi-view fusion mechanism and clustering assignments can be learned simultaneously. Our key idea is that the joint learning strategy can sufficiently exploit clustering-friendly multi-view features and useful multi-view complementary information to improve the clustering performance. How to realize the multi-view fusion in such a joint framework is the primary challenge. To do so, we design two ingenious variants of deep multi-view joint clustering models under the proposed framework, where multi-view fusion is implemented by two different schemes. The first model, called DMJC-S, performs multi-view fusion in an implicit way via a novel multi-view soft assignment distribution. The second model, termed DMJC-T, defines a novel multi-view auxiliary target distribution to conduct the multi-view fusion explicitly. Both DMJC-S and DMJC-T are optimized under a KL divergence like clustering objective. Experiments on six challenging image datasets demonstrate the superiority of both DMJC-S and DMJC-T over single/multi-view baselines and the state-of-the-art multiview clustering methods, which proves the effectiveness of the proposed DMJC framework. To our best knowledge, this is the first work to model the multi-view clustering in a deep joint framework, which will provide a meaningful thinking in unsupervised multi-view learning.

研究动机与目标

• 为解决多视图聚类中特征学习与聚类分离学习的局限性，即特征学习与聚类分步进行的问题。
• 通过联合优化特征学习、融合与聚类，有效利用多个异构视图之间的互补信息。
• 构建一个统一的深度学习框架，支持多视图聚类的端到端训练。
• 在单一联合优化目标下，探索隐式与显式多视图融合策略的协同作用。

提出的方法

• 提出一种联合深度多视图聚类（DMJC）框架，同时学习深度嵌入特征、多视图融合机制与聚类分配。
• 设计DMJC-S，通过一种新颖的多视图软分配分布$\mathbf{q}$实现隐式多视图融合，该分布聚合了各视图的预测结果。
• 设计DMJC-T，通过多视图辅助目标分布$\mathbf{p}$实现显式多视图融合，该分布通过共享的目标分布指导聚类过程。
• 采用基于KL散度的聚类目标函数联合优化两个模型，最小化预测分布与目标分布之间的差异。
• 使用基于自编码器的编码器作为多视图分支，仅使用编码器部分进行特征提取。
• 通过端到端反向传播，将梯度反向传播至整个流程，包括特征学习、融合与聚类组件。

实验结果

研究问题

• RQ1 与顺序或分离方法相比，联合优化深度特征学习、多视图融合与聚类是否能提升聚类性能？
• RQ2 在深度聚类框架中，如何有效利用多个异构视图之间的互补信息？
• RQ3 在联合学习设置下，隐式与显式多视图融合策略的相对优势是什么？
• RQ4 所提出的联合框架在不同初始化与视图配置下是否保持稳定性和鲁棒性？

主要发现

• DMJC-S与DMJC-T在六个基准图像数据集上均达到最先进性能，优于单视图与多视图基线方法。
• 在STL-10与CIFAR-10数据集上，DMJC-T达到96.03%的准确率，显著优于最佳单视图基线方法（J-View-3为90.71%）。
• DMJC-S与DMJC-T的两视图变体（Conv-VAE + SAE）分别达到93.84%与93.88%的准确率，表明即使缺少CAE分支，性能依然强劲。
• 在三视图模型中加入一个退化视图（VAE，准确率为70.59%）仅导致性能轻微下降（DMJC-S与DMJC-T分别降至88.63%与88.28%），表明对噪声视图具有强鲁棒性。
• 在50次随机初始化下，模型性能方差极低（如DMJC-T在STL-10上为1.20e-6），表明其具有高度稳定与可靠。
• 可视化结果表明，最具信息量的视图主导了学习过程，其权重在优化过程中显著增加，证实了有效视图加权机制。