[論文レビュー] Augmentative Message Passing for Traveling Salesman Problem and Graph Partitioning

Siamak Ravanbakhsh, Reihaneh Rabbany+1 more|arXiv (Cornell University)|Jun 4, 2014

Vehicle Routing Optimization Methods参考文献 33被引用数 7

ひとこと要約

本稿では、組合せ最適化のための拡張型メッセージパッシングを提案する。因子グラフにおけるメッセージパッシングに、切断平面法に類似した戦略を適用することで、制約の数が非常に多い問題に対処する。巡回セールスマン問題（TSP）においてはO(N³)時間で近似的最適解を達成し、スパースな制約サンプリングを用いたグラフ分割問題においても競争力のあるモジュラリティを達成し、ベンチマークインスタンスにおいて効率的でスケーラブルな性能を示している。

ABSTRACT

The cutting plane method is an augmentative constrained optimization procedure that is often used with continuous-domain optimization techniques such as linear and convex programs. We investigate the viability of a similar idea within message passing -- which produces integral solutions -- in the context of two combinatorial problems: 1) For Traveling Salesman Problem (TSP), we propose a factor-graph based on Held-Karp formulation, with an exponential number of constraint factors, each of which has an exponential but sparse tabular form. 2) For graph-partitioning (a.k.a., community mining) using modularity optimization, we introduce a binary variable model with a large number of constraints that enforce formation of cliques. In both cases we are able to derive surprisingly simple message updates that lead to competitive solutions on benchmark instances. In particular for TSP we are able to find near-optimal solutions in the time that empirically grows with N^3, demonstrating that augmentation is practical and efficient.

研究の動機と目的

• TSP やモジュラリティに基づくグラフ分割のようないくつかの制約が指数関数的に多くなる問題へのメッセージパッシングのスケーリングの課題に対処する。
• 多くのハード制約を含む大規模で高次元の因子グラフにおいて、従来のメッセージパッシングの限界を克服する。
• 反復的制約拡張を用いて、NP困難な組合せ最適化問題における整数解の近似を実用的かつ効率的に実現する手法を開発する。
• メッセージパッシングに制約拡張を組み合わせることで、解の品質と実行時間の両面で最先端の手法を上回るか同等の性能を達成できることを示す。

提案手法

• Held-Karp緩和に基づく因子グラフを用いてTSPを定式化し、二値の辺変数と、次数制約および連結性制約を強制する指数的だがスパースな制約因子を導入する。
• 団体を特定するためのクリーク強制制約を用いた二値変数の定式化により、モジュラリティ最適化によるグラフ分割をモデル化する。
• 初期の取り扱い可能な制約のサブセット上で、最小和ベイズ推論（min-sum belief propagation）を適用して近似的MAP解を計算する。
• 現在の解を用いて、TSPでは連結成分、分割問題では非クリークコミュニティといった、違反している制約を反復的に同定し、追加する。
• モジュラリティのスパースなゼロモデルを用いることで、クリーク制約の数を削減し、解像度を落とさずに効率性を向上させる。
• デシメーションを用いずに、メッセージバイアス（μₑ > 0 ⇒ xₑ = 1）に基づいて変数を固定することで、直接的に整数解を生成する。

実験結果

リサーチクエスチョン

• RQ1 連続最適化における切断平面法に類似した方法で、メッセージパッシングに違反する制約を効果的に拡張することは可能か？
• RQ2 この拡張型メッセージパッシングアプローチは、制約が指数関数的に多くなる大規模な組合せ最適化問題にスケーラブルに適用可能か？
• RQ3 ベンチマーク上のTSPおよびグラフ分割インスタンスにおいて、この手法は競争力のある解の品質を達成しつつ、低い計算コストを維持できるか？
• RQ4 解の品質を劣化させることなく、活性化されている制約の数をどれほど削減できるか、制約拡張プロセスの効率性はいかがなものか？
• RQ5 従来の切断平面法における分数解と比較して、整数解を直接扱うことで、違反制約の検出が簡略化されるか？

主な発見

• 提案された拡張型メッセージパッシング手法は、ベンチマークインスタンスにおけるTSPに対して近似的最適解を達成し、実行時間のスケーリングがO(N³)であることが実証された。
• グラフ分割の文脈では、Louvain や FastModularity などの最先端のヒューリスティクスと同等のモジュラリティスコアを達成し、競争力のある実行時間も得られた。
• polblogs データセットでは、全制約の0.14%未満にまで活性化制約の数を削減しており、スパースなゼロモデルによる顕著なプルーニングを示している。
• TSPでは、現在の解における連結成分の検出により、違反制約を同定し、効率的な反復的精錬を可能としている。
• 従来の切断平面法で見られる分数解の丸め処理による保証の破壊を回避するため、整数割り当てを直接扱うことで、保証を損なわない。
• この手法は並列処理に非常に適しており、先行研究および本研究の検証により、構造的最適化問題において線形計画法を上回る速度を発揮している。