[論文レビュー] Distributed Parallel Inference on Large Factor Graphs

Joseph E. Gonzalez, Yucheng Low+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用数 51

ひとこと要約

本論文は、過剰に分割されたグラフカット、信念残差スケジューリング、均一なワークトランスファー操作を用いる分散並列推論アルゴリズムであるDBRSplashを提案する。120ノードのクラスタ上で線形からスーパー線形のスケールアップを達成し、不規則なグラフにおける負荷分散と収束性を向上させる。プロセッサ間でのスケジューリングの分離と、メッセージ更新よりも信念更新を優先することで、分散メモリシステムにおける大規模な推論を効率的に行える。

ABSTRACT

As computer clusters become more common and the size of the problems encountered in the field of AI grows, there is an increasing demand for efficient parallel inference algorithms. We consider the problem of parallel inference on large factor graphs in the distributed memory setting of computer clusters. We develop a new efficient parallel inference algorithm, DBRSplash, which incorporates over-segmented graph partitioning, belief residual scheduling, and uniform work Splash operations. We empirically evaluate the DBRSplash algorithm on a 120 processor cluster and demonstrate linear to super-linear performance gains on large factor graph models.

研究の動機と目的

• クラスタ環境における大規模で不規則な要因グラフにおける効率的な分散推論の課題に対処すること。
• 過剰に分割されたグラフカットを用いて、分散信念伝搬における負荷分散を改善し、通信オーバーヘッドを低減すること。
• メッセージベースのスケジューリングから信念ベースの残差スケジューリングに置き換えることで、不規則なグラフにおけるスケジューリング効率を向上させること。
• 分散メモリ環境において大規模クラスタにスケーリングする際、並列最適性を維持すること。
• 120プロセッサのクラスタを用いて、実世界のAIワークロードにおいて線形からスーパー線形の性能スケーリングを実証すること。

提案手法

• 重み付きグラフカット問題として状態分割を形式化し、負荷バランスの向上を目的に過剰分割を用いるが、通信量の増加を伴う。
• 信念残差スケジューリングを導入し、信念推定値の変化を用いて頂点の更新を優先することで、収束の一様性を向上させる。
• 固定サイズのBFSベースの更新シーケンスを適用する均一なワークトランスファー操作を採用し、高次数の頂点が計算を支配するのを防ぐ。
• 分散キューを用いてプロセッサ間でのスケジューリングを分離し、メッセージ伝達モデルにおけるスケーラブルかつ非同期実行を可能にする。
• 共有メモリ向けに開発されたResidualSplashアルゴリズムを、スケーラビリティを考慮して再アーキテクチャし、分散メモリ環境に適応させる。
• プロセッサ間通信をメッセージのみに限定するハイブリッドメッセージ伝達モデルを採用し、共有メモリのボトルネックを回避する。

実験結果

リサーチクエスチョン

• RQ1 過剰に分割されたグラフカットは、通信コストを著しく増加させることなく、分散信念伝搬における負荷分散を改善できるか？
• RQ2 不規則的で大規模な要因グラフにおいて、信念残差スケジューリングはメッセージ残差スケジューリングを上回る収束速度と精度を達成できるか？
• RQ3 均一なワークトランスファー操作は、高次数の頂点が計算を支配するのを防ぎ、スケジューリングの公平性を向上させられるか？
• RQ4 スケーラブルなメッセージ伝達アルゴリズムを用いて、大規模な要因グラフにおける分散信念伝搬でスーパー線形のスケールアップを達成できるか？
• RQ5 DBRSplashは、実世界のAIワークロードにおいて120ノードのクラスタ上で、先行手法と比較してどのようにスケーリングするか？

主な発見

• DBRSplashは、大規模な要因グラフモデルに対して120ノードのクラスタ上で線形からスーパー線形のスケールアップを達成し、顕著な性能向上を示した。
• uw-systems MLNでは、信念残差スケジューリングを用いたDBRSplashが、メッセージベースのスケジューリングよりも収束が速く、平均L1誤差も低かった。
• cora-1 MLNでは、信念残差スケジューリングにより、高次数の変数の影響でメッセージベースのスケジューリングが失敗した状況でも収束が可能になった。
• 10倍の過剰分割により負荷の不均衡が低減し、全体の実行時間が短縮されたが、通信コストの増加は伴った。
• uw-languagesのような小規模なグラフでは、20プロセッサを超えると通信量の増加と精度の低下により性能が劣化した。これは、グラフサイズとクラスタサイズの相対関係の重要性を示している。
• 累積的なエッジ更新回数の分析から、信念残差スケジューリングはcora-1 MLNにおいて、メッセージベースのスケジューリングと比較して合計作業量を最大30％削減した。