[論文レビュー] A Case Study in Complexity Estimation: Towards Parallel Branch-and-Bound over Graphical Models

Lars Otten, Rina Dechter|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用数 11

ひとこと要約

本論文では、グラフィカルモデル上の並列分枝限定法アルゴリズムにおける負荷不均衡を予測・緩和するための統計的回帰モデルを提案する。事前に不均衡に起因する複雑さが著しく高い部分問題を同定することで、UAI 2012ベンチマークで評価された結果、頑健な複雑さ推定が可能となり、実際の並列性能が著しく向上し、NP困難な推論タスクにおける性能が向上した。

ABSTRACT

We study the problem of complexity estimation in the context of parallelizing an advanced Branch and Bound-type algorithm over graphical models. The algorithm's pruning power makes load balancing, one crucial element of every distributed system, very challenging. We propose using a statistical regression model to identify and tackle disproportionally complex parallel subproblems, the cause of load imbalance, ahead of time. The proposed model is evaluated and analyzed on various levels and shown to yield robust predictions. We then demonstrate its effectiveness for load balancing in practice.

研究の動機と目的

• 変動する pruning 効率のため、グラフィカルモデル上での並列分枝限定法における負荷不均衡という主要な課題に対処すること。
• 実行前に、著しく複雑な部分問題を事前に特定するための能動的アプローチを開発すること。
• 統計的モデリングを用いて部分問題の複雑さを予測することで、分散システムにおける負荷不均衡を改善すること。
• 複雑さ推定の有効性が並列アルゴリズムのパフォーランス向上に与える影響を評価すること。

提案手法

• 部分問題から抽出された特徴量を用いて、計算複雑さを予測する統計的回帰モデルを学習する。
• 特徴量には、木幅、変数数、証拠分布など、グラフィカルモデルの構造的および確率的性質が含まれる。
• 実行時間または探索空間の大きさを予測し、並列実行前に複雑な部分問題を優先順位付けまたは再割り当てする。
• 予測モデルを並列分枝限定フレームワークに統合し、タスク配分をガイドする。
• 過去の実行からの履歴データを用いて予測を改善し、時間経過とともに精度を高める。
• 予測された複雑さに基づいて動的にタスク割り当てを調整し、プロセッサ間での作業負荷をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 統計的モデルは、グラフィカルモデル上での分枝限定法における部分問題の複雑さを正確に予測できるか？
• RQ2 複雑さ予測は、分枝限定法アルゴリズムの並列実行における負荷不均衡にどのように影響するか？
• RQ3 グラフィカルモデルのどの特徴が、推論タスクにおける部分問題の難易度と最も強く相関しているか？
• RQ4 事前に複雑な部分問題を予測することで、並列実行における測定可能なパフォーマンス向上が達成できるか？
• RQ5 多様なグラフィカルモデル構造や問題インスタンスに対して、予測モデルはどれほど頑健か？

主な発見

• 回帰モデルは、多様なグラフィカルモデルインスタンスにおいて、部分問題の複雑さを頑健かつ正確に予測した。
• 予測された複雑さと実際の実行時間の間に強い相関が認められ、効果的な作業負荷推定が可能になった。
• 複雑さ予測の活用により、並列実行における負荷不均衡が低減され、全体のスループットが向上した。
• 特に部分問題の難易度に大きなばらつきがある状況では、静的負荷分散戦略を上回る性能を示した。
• UAI 2012会議のベンチマーク問題において、一貫したパフォーマンス向上が確認された。