[论文解读] Align then Fusion: Generalized Large-scale Multi-view Clustering with Anchor Matching Correspondences

Siwei Wang, Xinwang Liu+5 more|arXiv (Cornell University)|May 30, 2022

Remote-Sensing Image Classification被引用 32

一句话总结

FMVACC 引入了一个通用、可扩展的框架，用于大规模多视图聚类，学习灵活的锚点集合，通过特征信息和结构信息在视图间对齐它们，并融合对齐后的锚点图以提升聚类性能。

ABSTRACT

Multi-view anchor graph clustering selects representative anchors to avoid full pair-wise similarities and therefore reduce the complexity of graph methods. Although widely applied in large-scale applications, existing approaches do not pay sufficient attention to establishing correct correspondences between the anchor sets across views. To be specific, anchor graphs obtained from different views are not aligned column-wisely. Such an extbf{A}nchor- extbf{U}naligned extbf{P}roblem (AUP) would cause inaccurate graph fusion and degrade the clustering performance. Under multi-view scenarios, generating correct correspondences could be extremely difficult since anchors are not consistent in feature dimensions. To solve this challenging issue, we propose the first study of the generalized and flexible anchor graph fusion framework termed extbf{F}ast extbf{M}ulti- extbf{V}iew extbf{A}nchor- extbf{C}orrespondence extbf{C}lustering (FMVACC). Specifically, we show how to find anchor correspondence with both feature and structure information, after which anchor graph fusion is performed column-wisely. Moreover, we theoretically show the connection between FMVACC and existing multi-view late fusion \cite{liu2018late} and partial view-aligned clustering \cite{huang2020partially}, which further demonstrates our generality. Extensive experiments on seven benchmark datasets demonstrate the effectiveness and efficiency of our proposed method. Moreover, the proposed alignment module also shows significant performance improvement applying to existing multi-view anchor graph competitors indicating the importance of anchor alignment. Our code is available at \url{https://github.com/wangsiwei2010/NeurIPS22-FMVACC}.

研究动机与目标

• 在大规模多视图聚类中识别并解决锚点未对齐问题（AUP）。
• 开发一种跨越特征维度不同的视图、灵活的锚点生成与对齐机制。
• 在跨视图锚点匹配后实现锚点图的按列融合。
• 在理论上将 FMVACC 与现有的晚融合和 PVC 方法联系起来，以展示其通用性。
• 在多组大规模数据集上展示其效率与效果，并展示对齐模块对现有方法的提升。

提出的方法

• 通过联合优化 Z_i 和 A_i，使 A_i A_i^T = I_m，从而提高锚点的判别性，生成灵活的单视图锚点。
• 通过在行方向对简单形投影、非负性和和为1约束将 Z_i 迭代更新，并在给定 B = Z_i^T X_i 的情况下通过截断的 SVD 更新 A_i。
• 用 Z_i 的对应列来表示每个锚点，将锚点对齐转化为 n 维空间中的图匹配问题。
• 在赋值约束下通过最大化 Z_1^T Z_2 来形成特征对应（等价于求解传输/分配问题）。
• 通过对齐内部图结构来形成结构对应，使用 S_1 = Z_1^T Z_1 和 S_2 = Z_2^T Z_2，最小化 ||S_1 - P^T S_2 P||_F^2。
• 在一个统一的二次分配问题中结合特征和结构线索，得到对齐锚点的置换矩阵 P（通过投影不动点算法求解）。
• 融合对齐后的锚点图以产生 Z_Aligned，并通过嵌入上的秩-k SVD 再加上 k-means 进行聚类。

实验结果

研究问题

• RQ1 如何在具有不同特征空间的多视数据中有效对齐灵活的锚点集合？
• RQ2 基于特征相似性和图结构的锚点对齐是否能改善大规模MVC的融合与聚类性能？
• RQ3 FMVACC 与现有的晚融合和 PVC 方法的理论关系是什么？
• RQ4 所提出的 FMVACC 的计算和内存需求是多少，是否可扩展到非常大的数据集？

主要发现

• FMVACC 通过同时考虑一阶（特征）和二阶（结构）对应，实现了对锚点的有效对齐。
• 将所提对齐模块应用于现有的 MVC 方法（如 LMVSC）时，显著提升聚类效果，降低噪声并提升融合质量。
• 灵活的锚点选择加对齐在仿真数据和真实基准上均优于固定索引方法（如 SFMC）。
• FMVACC 在 n 上表现出线性时间和空间复杂度，使其适用于大规模数据集；对齐后的 SVD 与 k-means 聚类仍然高效。
• 对齐组件在包括 MNIST 和 YTF 变体在内的七个真实世界多视数据集上带来显著性能提升。