[论文解读] A Linear Time Active Learning Algorithm for Link Classification

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Dec 3, 2012

Machine Learning and Algorithms参考文献 13被引用 4

一句话总结

本文提出了一种线性时间主动学习算法，用于签名网络中的链接分类，该算法基于围绕双簇结构的边标签扰动随机模型。通过仅查询 O(|V|^{3/2}) 条边标签，该算法实现了接近最优的性能——在常数因子范围内，总运行时间为 O(|E| + |V| log |V|)，使其在大规模网络中具有极高的效率。

ABSTRACT

We present very efficient active learning algorithms for link classification in signed net-works. Our algorithms are motivated by a stochastic model in which edge labels are ob-tained through perturbations of a initial sign assignment consistent with a two-clustering of the nodes. We provide a theoretical analysis within this model, showing that we can achieve an optimal (to whithin a constant factor) number of mistakes on any graph G = (V,E) such that |E | = Ω(|V |3/2) by querying O(|V |3/2) edge labels. More generally, we show an algorithm that achieves optimality to within a factor of O(k) by querying at most order of |V | + (|V |/k)3/2 edge labels. The running time of this algorithm is at most of order |E|+ |V | log |V |.

研究动机与目标

• 开发一种高效的主动学习算法，用于签名网络中的链接分类，以最小化所需的边标签查询数量。
• 在围绕双簇节点结构的边标签扰动随机模型下，对算法性能进行理论分析。
• 在满足 |E| = Ω(|V|^{3/2}) 的图上，实现接近最优的错误界限——误差在常数因子范围内。
• 设计一种可扩展的算法，具备线性时间复杂度，确保其在大规模网络中的实际适用性。

提出的方法

• 该算法基于一种随机模型，其中边标签是初始一致符号分配下双聚类结构的扰动。
• 它根据不确定性减少的程度自适应地选择要查询的边，优先选择最能提升分类准确率的标签。
• 通过战略性地查询 O(|V|^{3/2}) 条边标签，该方法在满足 |E| = Ω(|V|^{3/2}) 的图上实现了最优性（常数因子范围内）。
• 该算法的广义版本通过最多查询 O(|V| + (|V|/k)^{3/2}) 条边标签，实现了 O(k) 因子范围内的最优性。
• 通过高效的数据结构和标签选择启发式方法，该算法的运行时间被限制在 O(|E| + |V| log |V|) 以内。

实验结果

研究问题

• RQ1 能否设计一种用于签名网络中链接分类的主动学习算法，在极少标签查询下实现接近最优的错误界限？
• RQ2 在这些网络中，查询复杂度与性能最优性之间的理论权衡是什么？
• RQ3 如何在保持高分类准确率的同时，使算法维持线性时间效率？
• RQ4 该算法能否被推广，以在可调因子 k 的范围内平衡查询成本与性能？

主要发现

• 对于任意满足 |E| = Ω(|V|^{3/2}) 的图 G = (V, E)，该算法通过仅查询 O(|V|^{3/2}) 条边标签，实现了最优错误数（常数因子范围内）。
• 广义变体通过最多查询 O(|V| + (|V|/k)^{3/2}) 条边标签，实现了 O(k) 因子范围内的最优性。
• 该算法的总运行时间被限制在 O(|E| + |V| log |V|) 以内，从实际角度看，其时间复杂度与网络规模呈线性关系。
• 理论分析证实，在所提出的边标签生成随机模型下，该算法的查询复杂度接近最小化。