[论文解读] Interactive algorithms: from pool to stream

Sivan Sabato, Tom Hess|arXiv (Cornell University)|Feb 2, 2016

Machine Learning and Algorithms参考文献 39被引用 7

一句话总结

本文研究了在流式设置下模拟基于池的交互式算法的效率，其中元素按顺序到达并必须立即选择。本文提出了一种流式算法，能够以期望流大小在所选元素数量上呈指数级地模拟任意黑箱池算法，并证明了紧致的下界。关键结果是，在二分类主动学习中，基于流的算法可能需要显著更多的未标记样本——最多 Ω̃(m^{3/2})——而基于池的算法仅需 m 个。这表明在某些条件下，两种设置之间存在根本性差距。

ABSTRACT

We consider interactive algorithms in the pool-based setting, and in the stream-based setting. Interactive algorithms observe suggested elements (representing actions or queries), and interactively select some of them and receive responses. Pool-based algorithms can select elements at any order, while stream-based algorithms observe elements in sequence, and can only select elements immediately after observing them. We assume that the suggested elements are generated independently from some source distribution, and ask what is the stream size required for emulating a pool algorithm with a given pool size. We provide algorithms and matching lower bounds for general pool algorithms, and for utility-based pool algorithms. We further show that a maximal gap between the two settings exists also in the special case of active learning for binary classification.

研究动机与目标

• 理解在流式设置下模拟基于池的交互式算法的成本。
• 确定实现与给定池算法相同输出分布所需的最小流大小。
• 研究两种设置之间的差距是否本质存在，特别是在二分类主动学习中。
• 为一般和基于效用的池算法提供流大小的紧致上下界。

提出的方法

• 提出一种基于流的算法，通过按顺序观察元素并基于拒绝采样策略选择元素，以模拟任意黑箱池算法。
• 使用所选元素数量的指数级上界，来统一估计期望观察元素数量。
• 使用概率论论证和分布假设，分析模拟所需的流大小。
• 构建一个特定的假设类和示例分布，以证明流设置与池设置之间存在可证明的差距。
• 证明一个下界，表明当 q = Θ(√m) 时，任何基于流的算法至少需要 Ω̃(m^{3/2}) 个未标记样本，而池算法仅需 m 个。
• 将上界应用于基于效用的池算法，表明当标签预算 q 较小时（例如，q ∈ Θ(log(1/ε))），差距可忽略不计。

实验结果

研究问题

• RQ1 在流式设置下，精确模拟给定的基于池的交互式算法所需的最小流大小是多少？
• RQ2 所需流大小如何随所选元素数量和标签预算 q 变化？
• RQ3 在二分类主动学习中，基于池与基于流的设置之间是否存在根本性差距？
• RQ4 基于效用的池算法能否在流设置中以 q 的线性流大小高效模拟？
• RQ5 在何种条件下，两种设置之间的差距可忽略或显著？

主要发现

• 对于一般池算法，基于流的算法所需期望观察元素数量在所选元素数量上呈指数级增长。
• 下界表明，当 q = Θ(√m) 时，流大小必须增长至 Ω̃(m^{3/2})，而池设置仅需 m 个样本。
• 在二分类主动学习的特殊情况下，差距达到最大：基于流的算法可能需要最多 Ω̃(m^{3/2}) 个未标记样本，而基于池的算法仅需 m 个。
• 对于标签预算较小的基于效用的池算法（例如，q ∈ Θ(log(1/ε))），流大小需求仅为 O(log(1/ε)/ε)，使得差距可忽略不计。
• 该差距并非源于 CAL 等特定算法的局限性，而是基于流设置的本质特性，如构造所示，该构造适用于任何基于流的主动学习算法。
• 结果表明，在流设置中精确模拟池算法是可能的，但可能需付出高昂的流大小代价，尤其是在 q 相对于 m 较大时。