[论文解读] A Case Study in Complexity Estimation: Towards Parallel Branch-and-Bound over Graphical Models

Lars Otten, Rina Dechter|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用 11

一句话总结

本文提出一种统计回归模型，通过提前识别子问题中不均衡的复杂性，以预测并缓解并行分支定界算法在图模型上的负载不平衡问题。在UAI 2012基准测试上评估，该模型实现了稳健的复杂性估计，并在实践中显著改善了负载均衡，从而提升了NP难推理任务的并行性能。

ABSTRACT

We study the problem of complexity estimation in the context of parallelizing an advanced Branch and Bound-type algorithm over graphical models. The algorithm's pruning power makes load balancing, one crucial element of every distributed system, very challenging. We propose using a statistical regression model to identify and tackle disproportionally complex parallel subproblems, the cause of load imbalance, ahead of time. The proposed model is evaluated and analyzed on various levels and shown to yield robust predictions. We then demonstrate its effectiveness for load balancing in practice.

研究动机与目标

• 为解决图模型上并行分支定界中的负载不平衡问题，这是由于剪枝效率变化所致的主要挑战。
• 开发一种主动方法，在执行前识别出复杂度明显过高的子问题。
• 通过使用统计建模预测子问题复杂度，改进分布式系统中的负载均衡。
• 评估复杂性估计在提升并行算法性能方面的有效性。

提出的方法

• 基于从子问题中提取的特征，训练统计回归模型以预测其计算复杂度。
• 特征包括图模型的结构和概率属性，如树宽、变量数量和证据分布。
• 模型预测运行时间或搜索空间大小，以在并行执行前对复杂子问题进行优先处理或重新分配。
• 将预测模型集成到并行分支定界框架中，以指导任务分发。
• 利用先前运行的历史数据来优化预测，随时间推移提高准确性。
• 系统根据预测的复杂度动态调整任务分配，以在处理器之间平衡工作负载。

实验结果

研究问题

• RQ1 统计模型能否准确预测图模型上分支定界中子问题的复杂度？
• RQ2 复杂度预测如何影响分支定界算法并行执行中的负载均衡？
• RQ3 图模型的哪些特征与推理任务中子问题难度的相关性最强？
• RQ4 能否通过提前预测复杂子问题实现并行执行中的可测量性能提升？
• RQ5 该预测模型在不同图模型结构和问题实例上的鲁棒性如何？

主要发现

• 该回归模型在多种图模型实例中均实现了稳健且准确的子问题复杂度预测。
• 预测的复杂度与实际运行时间高度相关，从而实现了有效的负载估计。
• 使用复杂度预测显著减少了并行执行中的负载不平衡，提升了整体加速比。
• 该模型在子问题难度方差较大的场景下，优于静态负载均衡策略。
• 该方法在UAI 2012会议的基准问题上表现出一致的性能提升。