[论文解读] Learning to Prune: Speeding up Repeated Computations

Daniel Alabi, Adam Tauman Kalai+4 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Bandit Algorithms Research参考文献 19被引用 8

一句话总结

本文提出一种可学习的剪枝算法，通过基于历史解动态剪枝搜索空间中无关部分，加速重复计算。采用探索-利用策略——偶尔进行完整计算以验证剪枝效果——该方法在确保高概率正确性的前提下减少运行时间，在最短路径路由、字符串匹配和线性规划问题中均实现了接近最优的剪枝性能（常数因子内）。

ABSTRACT

It is common to encounter situations where one must solve a sequence of similar computational problems. Running a standard algorithm with worst-case runtime guarantees on each instance will fail to take advantage of valuable structure shared across the problem instances. For example, when a commuter drives from work to home, there are typically only a handful of routes that will ever be the shortest path. A naive algorithm that does not exploit this common structure may spend most of its time checking roads that will never be in the shortest path. More generally, we can often ignore large swaths of the search space that will likely never contain an optimal solution. We present an algorithm that learns to maximally prune the search space on repeated computations, thereby reducing runtime while provably outputting the correct solution each period with high probability. Our algorithm employs a simple explore-exploit technique resembling those used in online algorithms, though our setting is quite different. We prove that, with respect to our model of pruning search spaces, our approach is optimal up to constant factors. Finally, we illustrate the applicability of our model and algorithm to three classic problems: shortest-path routing, string search, and linear programming. We present experiments confirming that our simple algorithm is effective at significantly reducing the runtime of solving repeated computations.

研究动机与目标

• 为解决标准最坏情况算法在重复、结构相似的计算问题上的低效性，通过利用不同实例间的共享解结构。
• 设计一种基于学习的剪枝策略，在不牺牲正确性的前提下最小化搜索空间，即使在最坏情况输入序列下亦成立。
• 在不假设输入变化分布的前提下，实现接近最优的剪枝性能，并提供可证明的正确性保证。
• 在多种问题中展示方法的适用性与有效性：最短路径路由、字符串搜索和线性规划。

提出的方法

• 该算法维护一个剪枝后的搜索空间 S_i，其中包含所有先前返回的解，逐步将搜索聚焦于相关区域。
• 它在‘利用’阶段（使用剪枝集 S_i 快速求解当前实例）与‘探索’阶段（运行完整最坏情况算法以验证并扩展 S_i）之间交替进行。
• 探索概率 p_i = 1/√i 确保探索频率随时间递减，同时长期保持高概率正确性。
• 该方法在理论上被证明相对于最优事后剪枝策略，累积运行时间达到常数因子内的最优性。
• 对于验证速度快的问题（如线性规划），错误解可事后检测并纠正，从而实现零错误执行。
• 该方法应用于三个经典问题：最短路径路由（Dijkstra 算法）、字符串匹配和线性规划（单纯形法），并进行了实证验证。

实验结果

研究问题

• RQ1 基于学习的剪枝策略是否能显著减少重复计算的运行时间，同时保持正确性？
• RQ2 算法如何在探索（完整计算）与利用（剪枝）之间取得平衡，以最小化累积运行时间？
• RQ3 是否可能在不假设输入变化分布的前提下，实现接近最优的剪枝性能？
• RQ4 在现实世界问题（如最短路径路由和线性规划）中，动态剪枝能在多大程度上减少搜索空间？
• RQ5 在实际应用中，该算法的误判率和剪枝效率如何随时间演变？

主要发现

• 在匹兹堡道路网络的最短路径路由任务中，与 Dijkstra 算法相比，该算法将平均节点探索量减少了高达 70%，在 150,000 轮中仅有 0.068% 的错误解。
• 在 CATS 测试套件提供的线性规划实例中，该算法将平均单纯形迭代次数减少了超过 50%，在 150,000 轮中错误率为 0.018%。
• 平均剪枝集合大小随时间缓慢增长，表明学习有效且能逐步剪除无关区域。
• 该算法的累积运行时间在常数因子内接近最优事后剪枝策略，理论证明其接近最优性。
• 实证结果证实，该方法在多种问题领域中均有效，即使输入变化具有对抗性或最坏情况。
• 对于验证速度快的问题，该方法可实现显著加速，且通过事后纠正可实现零错误。