[论文解读] Active Learning on Trees and Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Jan 22, 2013

Machine Learning and Algorithms参考文献 11被引用 41

一句话总结

该论文提出了一种针对树和图的高效主动学习算法，通过基于最小割的分类器战略性地选择查询节点，以最小化未查询节点的预测错误。该算法在常数因子范围内达到最优性能，Q次查询的时间复杂度为O(n log Q)，并通过生成树将结果扩展到一般图，同时为任意图上任何主动学习算法的错误数提供了下界。

ABSTRACT

We investigate the problem of active learning on a given tree whose nodes are assigned binary labels in an adversarial way. Inspired by recent results by Guillory and Bilmes, we characterize (up to constant factors) the optimal placement of queries so to minimize the mistakes made on the non-queried nodes. Our query selection algorithm is extremely efficient, and the optimal number of mistakes on the non-queried nodes is achieved by a simple and efficient mincut classifier. Through a simple modification of the query selection algorithm we also show optimality (up to constant factors) with respect to the trade-off between number of queries and number of mistakes on non-queried nodes. By using spanning trees, our algorithms can be efficiently applied to general graphs, although the problem of finding optimal and efficient active learning algorithms for general graphs remains open. Towards this end, we provide a lower bound on the number of mistakes made on arbitrary graphs by any active learning algorithm using a number of queries which is up to a constant fraction of the graph size.

研究动机与目标

• 开发一种针对树的高效主动学习算法，在固定查询预算下最小化未查询节点的错误数。
• 刻画在树上主动学习中查询数量与错误数之间的最优权衡。
• 通过生成树将树上的结果扩展到一般图，同时保持理论性能保证。
• 建立当查询集为图大小的常数倍时，任何主动学习算法在一般图上必须犯的错误数的下界。
• 证明查询选择算法即使在未知真实割大小Φ的情况下，仍能以常数因子范围内的最优性高效计算。

提出的方法

• 该算法采用贪心的迭代查询选择策略，识别并添加‘分叉节点’——即能增加与已有查询节点之间边不相交路径数的节点。
• 通过维护一个优先双端队列，基于其提升与未查询节点连通性的潜力，高效选择下一个查询节点。
• 预测阶段通过铰链树（1-和2-铰链子树）的深度优先遍历，将标签从查询节点传播出去，为每个未查询节点分配最近查询节点的标签。
• 使用最小割分类器预测未查询节点的标签，以最小化整个图上的总割大小。
• 该方法利用树的结构特性，高效计算并最大化与查询集减少预测错误能力相关的函数Ψ(L)。
• 对于一般图，该方法使用生成树作为代理，理论分析表明，在特定条件下，生成树上的优质查询集可在原图上实现良好性能。

实验结果

研究问题

• RQ1 在固定查询预算下，如何最优地放置查询节点以最小化树上未查询节点的错误？
• RQ2 主动学习算法是否能在树上实现查询数与预测错误数之间的最优权衡？
• RQ3 如何通过生成树将树上的结果扩展到一般图？
• RQ4 当查询集为顶点数的常数倍时，任何主动学习算法在一般图上必须犯的错误数的根本下界是什么？
• RQ5 是否能高效计算一个查询集，使其在树上将Ψ(L)最大化至常数因子范围内？

主要发现

• 所提出的查询选择算法在n个节点的树上进行Q次查询时，时间复杂度为O(n log Q)，具有高度效率。
• 即使在未知真实割大小Φ的情况下，该算法在最小化未查询节点错误数方面仍能达到常数因子范围内的最优性能。
• 当与查询选择算法结合时，最小割分类器可确保错误数被限制在Φ/Ψ(L)以内，且该界在常数因子范围内是紧的。
• 该算法的改进版本在无需固定查询预算的情况下，可在树上实现查询数与错误数之间的最优权衡（常数因子范围内）。
• 对于一般图，本文建立了下界，表明任何使用大小不超过图大小常数倍的查询集的主动学习算法，必须至少犯下与有效电阻加权割大小成常数比例的错误数。
• 结果表明，尽管生成树可用于将算法扩展到一般图，但生成树的选择显著影响性能，随机生成树可能无法保持聚类结构。