[论文解读] Generalized Matrix Means for Semi-Supervised Learning with Multilayer Graphs

Pedro Mercado, Francesco Tudisco+1 more|arXiv (Cornell University)|Oct 30, 2019

Remote-Sensing Image Classification被引用 8

一句话总结

该论文提出了一种新颖的半监督学习框架，用于多层图，采用幂均拉普拉斯正则化器，这是一种广义算术、几何和调和平均的矩阵均值的一参数族。该方法在合成和真实世界数据集上均表现出对噪声的可证明鲁棒性，并在分类精度上优于最先进方法，同时通过可扩展的无矩阵数值方案实现了大规模部署。

ABSTRACT

We study the task of semi-supervised learning on multilayer graphs by taking into account both labeled and unlabeled observations together with the information encoded by each individual graph layer. We propose a regularizer based on the generalized matrix mean, which is a one-parameter family of matrix means that includes the arithmetic, geometric and harmonic means as particular cases. We analyze it in expectation under a Multilayer Stochastic Block Model and verify numerically that it outperforms state of the art methods. Moreover, we introduce a matrix-free numerical scheme based on contour integral quadratures and Krylov subspace solvers that scales to large sparse multilayer graphs.

研究动机与目标

• 解决多层图中半监督学习的挑战，其中多个图层编码异质或噪声信息。
• 克服凸组合（算术平均）在融合图层时的局限性，后者在某些生成模型下可能失效。
• 开发一种正则化器，可在现有方法失效的情况下，可证明地提升分类性能，特别是在某些图层存在噪声时。
• 通过无矩阵数值方法，实现对大规模稀疏多层图的幂均拉普拉斯的可扩展计算。

提出的方法

• 提出幂均拉普拉斯 $ L_p = \left( \frac{1}{T} \sum_{i=1}^T (L^{(i)}_{\mathrm{sym}})^p \right)^{1/p} $，这是一种广义算术、几何和调和平均的一参数矩阵均值族。
• 使用正则化优化问题：$ f^{(r)} = \arg\min_f \|f - Y^{(r)}\|^2 + \lambda f^T L_p f $，其中 $ Y^{(r)} $ 为类别隶属向量。
• 采用基于围线积分求积和Krylov子空间求解器的无矩阵数值方案，无需显式构造 $ L_p $ 即可计算 $ f $，从而实现可扩展性。
• 对 $ p \leq 0 $ 的情况引入对角平移 $ \varepsilon = \log_{10}(1+|p|) + 10^{-6} $，以确保正定性和数值稳定性。
• 在多层随机块模型下推导理论保证，证明在最先进方法失效的设置中，可正确分类未标记节点。
• 利用解 $ f $ 通过 $ y_i = \arg\max_r f^{(r)}_i $ 赋予类别标签。

实验结果

研究问题

• RQ1 与凸组合相比，拉普拉斯矩阵的广义矩阵均值是否能提升多层图上半监督学习的性能？
• RQ2 在随机块模型设置下，幂均拉普拉斯正则化器是否能提供对噪声图层的可证明鲁棒性？
• RQ3 能否在不显式矩阵求逆的情况下，高效计算大规模稀疏多层图上的幂均拉普拉斯？
• RQ4 幂参数 $ p $ 的选择如何影响不同噪声和聚类环境下的分类性能？

主要发现

• 在多层随机块模型下，所提方法可在最先进方法失效的设置中，可证明地正确分类未标记节点，尤其在仅一个图层具有信息量时表现更优。
• 在具有递增层间噪声和聚类难度的合成图上，该方法的分类误差显著低于最先进方法。
• 当 $ p = -1 $ 时，方法性能与算术平均（即 $ L_1 $）相近；但当 $ p < -1 $，如 $ p = -5 $ 或 $ p = -10 $ 时，性能进一步提升，尤其在噪声环境下。
• 无矩阵数值方案可高效求解大规模稀疏图上的正则化系统，计算成本与矩阵规模无关。
• 在真实世界数据集（如 Cora、Citeseer、BBC）上，该方法在 $ \lambda \in \{10, 10^2, 10^3\} $ 下表现具有竞争力，且测试误差随标记数据增加而降低。
• 当 $ \lambda \leq 10^{-1} $ 时，正则化参数 $ \lambda $ 的影响可忽略；但当 $ \lambda \geq 10 $ 时，性能显著提升，且 $ \lambda = 10 $ 在真实数据上取得最佳平均测试误差。