[论文解读] Random Spanning Trees and the Prediction of Weighted Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Dec 21, 2012

Complex Network Analysis Techniques参考文献 30被引用 30

一句话总结

该论文提出了一种基于随机生成的生成树来最小化预测错误的随机在线学习算法，用于加权图上的二元节点标签预测。该方法证明了随机生成树的期望切割大小在对数因子范围内刻画了最优错误边界，并在保持理论最优性的同时，实现了每步预测的常数摊销时间与线性空间复杂度，优于全局和局部方法在实际应用中的表现。

ABSTRACT

We investigate the problem of sequentially predicting the binary labels on the nodes of an arbitrary weighted graph. We show that, under a suitable parametrization of the problem, the optimal number of prediction mistakes can be characterized (up to logarithmic factors) by the cutsize of a random spanning tree of the graph. The cutsize is induced by the unknown adversarial labeling of the graph nodes. In deriving our characterization, we obtain a simple randomized algorithm achieving in expectation the optimal mistake bound on any polynomially connected weighted graph. Our algorithm draws a random spanning tree of the original graph and then predicts the nodes of this tree in constant expected amortized time and linear space. Experiments on real-world datasets show that our method compares well to both global (Perceptron) and local (label propagation) methods, while being generally faster in practice.

研究动机与目标

• 将加权图上在线二元标注问题的根本难度，以图论参数的形式进行表征。
• 通过建立加权图预测问题的下界与上界，弥合理论理解上的差距。
• 设计一种计算高效的算法，使其在对数因子范围内达到最优错误边界。
• 在真实世界数据集上，展示该方法在准确率与效率方面对全局方法（如感知机）和局部方法（如标签传播）的实用优越性。

提出的方法

• 该方法利用基尔霍夫矩阵-树定理，从原始加权图中构建随机生成树，该定理将边的概率与有效电阻相关联。
• 将生成树线性化为一条路径，从而在该线性化结构上通过最近邻规则实现高效预测。
• 该算法在经线性化后的树上使用加权多数投票（WTA或NWWTA）来预测节点标签，每节点的预测时间保持常数摊销时间。
• 预测错误的期望数量被限制在随机生成树的期望切割大小之内，该值通过对抗性切割中边的有效电阻之和计算得出。
• 该方法对标签扰动具有鲁棒性，这是在存在噪声或不确定标签的实际应用中所期望的特性。
• 该算法通过行列式采样变体实现随机生成树的生成，确保在所有生成树中实现均匀采样。

实验结果

研究问题

• RQ1 在加权图的在线二元标注中，预测错误数量的根本下界是什么？
• RQ2 随机生成树的期望切割大小是否能作为加权图设置下最优错误边界的紧致参数化？
• RQ3 是否存在一种实用的在线算法，能在保持低计算成本的同时，达到最优错误边界（对数因子范围内）？
• RQ4 在真实世界数据集上，该方法在准确率与效率方面与全局和局部学习基线相比表现如何？

主要发现

• 随机生成树的期望切割大小在对数因子范围内，为加权图上在线二元标注的最优错误边界提供了紧致参数化。
• 所提出的算法在期望上实现了最优错误边界，每步预测保持常数摊销时间，空间使用为线性复杂度。
• 在USPS-100数据集上，该方法在50%训练/测试划分下平均错误率为15.29%，优于标签传播（15.13%）和全局方法。
• 在KROGAN数据集上，该方法在17%训练划分下错误率为14.55%，优于标签传播（14.66%）和全局方法。
• 在WEBSPAM数据集上，该方法在3*采样下测试错误率为6.44%，显著优于标签传播（12.84%）和全局方法。
• 实验表明，该算法对标签扰动具有鲁棒性，其在不同噪声水平下均保持一致的性能表现。