[论文解读] Information Recovery-Driven Deep Incomplete Multiview Clustering Network

Chengliang Liu, Jie Wen+4 more|arXiv (Cornell University)|Apr 2, 2023

Face and Expression Recognition被引用 5

一句话总结

本文提出RecFormer，一种新颖的深度不完整多视图聚类框架，通过基于Transformer的两阶段自编码器结合自注意力机制与循环图重构机制，联合恢复缺失视图并学习鲁棒、判别性表征。该方法通过有效利用跨视图交互与几何感知恢复，在多个基准数据集上实现了最先进性能。

ABSTRACT

Incomplete multi-view clustering is a hot and emerging topic. It is well known that unavoidable data incompleteness greatly weakens the effective information of multi-view data. To date, existing incomplete multi-view clustering methods usually bypass unavailable views according to prior missing information, which is considered as a second-best scheme based on evasion. Other methods that attempt to recover missing information are mostly applicable to specific two-view datasets. To handle these problems, in this paper, we propose an information recovery-driven deep incomplete multi-view clustering network, termed as RecFormer. Concretely, a two-stage autoencoder network with the self-attention structure is built to synchronously extract high-level semantic representations of multiple views and recover the missing data. Besides, we develop a recurrent graph reconstruction mechanism that cleverly leverages the restored views to promote the representation learning and the further data reconstruction. Visualization of recovery results are given and sufficient experimental results confirm that our RecFormer has obvious advantages over other top methods.

研究动机与目标

• 解决部分视图缺失导致聚类性能下降的不完整多视图数据挑战。
• 克服现有方法要么忽略缺失视图，要么依赖特定两视图假设的局限性。
• 开发一种可泛化的框架，能够处理多视图中任意缺失模式。
• 通过将视图恢复与聚类统一为端到端可训练架构，增强表征学习。
• 通过几何感知的循环图约束改进聚类性能，从而优化恢复视图与表征。

提出的方法

• 设计两阶段训练框架：第一阶段利用具有多头自注意力机制的跨视图自编码器恢复缺失视图，以实现跨视图特征交互。
• 实现一种类似Transformer的编码器-解码器模块，支持高层语义表征学习与视图间信息交换。
• 引入结构感知的循环图约束，通过利用数据的几何结构，迭代优化恢复的视图。
• 引入不完整掩码矩阵以指导恢复过程，并在训练中抑制缺失数据的影响。
• 采用联合优化目标，结合重建损失、聚类损失与图正则化，统一视图恢复与表征学习。
• 应用t-SNE可视化与消融研究，验证框架中各组件的有效性。

实验结果

研究问题

• RQ1 基于深度学习的框架能否在保留底层几何结构的前提下，有效恢复多视图数据中的缺失视图？
• RQ2 与解耦方法相比，联合学习视图恢复与表征学习如何提升聚类性能？
• RQ3 所提出的循环图约束在多大程度上提升了恢复视图与下游聚类的质量？
• RQ4 模型性能对超参数（如β（重建权重）和K（图邻居数））的敏感程度如何？
• RQ5 两阶段训练策略是否相比单阶段方法带来更好的收敛性与表征质量？

主要发现

• 在50%视图缺失的Handwritten数据集上，RecFormer实现了91.74%的聚类准确率（ACC）与83.39%的标准化互信息（NMI），优于所有对比的最先进方法。
• 在NH_Face数据集上，RecFormer在50%缺失率下达到95.40%的准确率与92.01%的NMI，展现出卓越的判别能力。
• 消融研究证实，若移除不完整掩码或第二阶段，性能显著下降（例如，无掩码时ACC从91.74%降至55.40%），证明二者至关重要。
• 引入第二阶段（利用恢复视图进行精细化表征学习）相比单阶段基线，使ACC提升1.8%。
• 循环图约束通过保留局部与全局数据结构，提升了聚类性能，t-SNE可视化结果表明聚类更清晰、更具可分性。
• 超参数敏感性分析表明，在Handwritten与Caltech7数据集上，β ∈ [10⁻³, 10] 与 K ∈ [5, 15] 可获得最优性能，表明对参数选择具有鲁棒性。