[論文レビュー] Learning fine-grained search space pruning and heuristics for combinatorial optimization

Juho Lauri, Sourav Dutta+2 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、組合せ最適化問題（特に最大クリーク問題）において、不要なノードやエッジを、局所的で特徴に基づくルールを学習することで、解空間を縮小する、新規で解釈可能な機械学習フレームワークを提案する。この手法はスパースグラフにおいて最大99％の削減を達成し、最先端のソルバーより最大5倍の高速化を実現する。また、近隣ノードの度数のカイ二乗値がクリーク所属の予測に極めて有効であることが判明し、より優れたヒューリスティクスの開発に貢献した。

ABSTRACT

Combinatorial optimization problems arise in a wide range of applications from diverse domains. Many of these problems are NP-hard and designing efficient heuristics for them requires considerable time and experimentation. On the other hand, the number of optimization problems in the industry continues to grow. In recent years, machine learning techniques have been explored to address this gap. We propose a framework for leveraging machine learning techniques to scale-up exact combinatorial optimization algorithms. In contrast to the existing approaches based on deep-learning, reinforcement learning and restricted Boltzmann machines that attempt to directly learn the output of the optimization problem from its input (with limited success), our framework learns the relatively simpler task of pruning the elements in order to reduce the size of the problem instances. In addition, our framework uses only interpretable learning models based on intuitive features and thus the learning process provides deeper insights into the optimization problem and the instance class, that can be used for designing better heuristics. For the classical maximum clique enumeration problem, we show that our framework can prune a large fraction of the input graph (around 99 % of nodes in case of sparse graphs) and still detect almost all of the maximum cliques. This results in several fold speedups of state-of-the-art algorithms. Furthermore, the model used in our framework highlights that the chi-squared value of neighborhood degree has a statistically significant correlation with the presence of a node in a maximum clique, particularly in dense graphs which constitute a significant challenge for modern solvers. We leverage this insight to design a novel heuristic for this problem outperforming the state-of-the-art. Our heuristic is also of independent interest for maximum clique detection and enumeration.

研究の動機と目的

• NP困難な組合せ最適化問題のスケーラビリティ課題に、効率的な解空間の縮小によって対処すること。
• 最適解を直接予測するのではなく、解釈可能な削減ルールを学習する機械学習フレームワークを設計すること。
• FMC(H)のような正確なソルバの性能を、データ駆動型で特徴に基づく削減戦略によって向上させること。
• 解釈可能なモデルを通じて、インスタンスクラス（例：最大クリーク）に関する意味のある構造的インサイトを明らかにすること。
• 既存の最先端手法を上回る新しいヒューリスティクスを、最大クリーク列挙のために開発すること。

提案手法

• 各ノードごとに計算される局所的で解釈可能な特徴（近隣ノードの度数、カイ二乗値など）に基づく、マルチステージの削減パイプラインを採用する。
• 勾配ブースティング木モデルを用いて、ノードが最大クリークに属する可能性が高いかどうかを分類する。これにより、有望でない要素の細かめの削減が可能になる。
• 削減プロセスは反復的に適用され、ベースとなる正確なソルバ（例：FMC(H)）を実行する前にグラフサイズを小さくする。
• 入力グラフの前処理として統合されるため、既存のソルバに統合可能なプレフィックス型の高速化レイヤーとして機能する。
• モデルからの特徴の重要度分析により、近隣度数のカイ二乗値が、特に密度の高いグラフにおいて、クリーク所属の統計的に有意な予測子であることが判明した。
• 削減の攻撃性と解の正確性のバランスを取るために、MoMC（多目的モデル結合）をフレームワークに拡張した。

実験結果

リサーチクエスチョン

• RQ1 複雑なブラックボックスモデルに依存せずに、解釈可能な局所的特徴を用いて、組合せ最適化における解空間を効果的に削減できるか？
• RQ2 学習ベースの削減によって、最適解を保持したまま、NP困難問題のインスタンスサイズをどの程度まで縮小できるか？
• RQ3 どの構造的特徴が、ノードの最大クリークへの含む可能性において最も予測的であり、より良いヒューリスティクスの設計に寄与できるか？
• RQ4 実世界および合成グラフにおいて、本手法の削減戦略は、最先端のソルバーよりも速度向上と解の質の両面で優れているか？
• RQ5 学習モデルから得たインサイトを活用して、最大クリーク列挙のための新しい優れたヒューリスティクスを設計できるか？

主な発見

• スパースグラフでは平均99％のノード削減を達成し、ほぼすべての最大クリークを保持する。これにより、解空間が顕著に縮小された。
• 実世界のグラフでは、FMC(H)よりも最大5倍の高速化を達成し、ALTHEA+MoMCは、従来未解決であったインスタンスに対しても最適解を求めることが可能になった。
• 近隣度数のカイ二乗値は、特にソルバが困難を抱える密度の高いグラフにおいて、クリーク所属の統計的に有意な予測子であることが同定された。
• 密度の高いERランダムグラフ（n=256, p=0.75）において、ALTHEAはFMC(H)の6倍の精度を達成し、70％以上の精度を記録した。これに対してFMC(H)は約50％の精度にとどまった。
• 密度の高いグラフ（p=0.5）においても、本フレームワークは最大50％の削減率を維持し、G(64,p)グラフではFMC(H)に比べ最大1.5倍の実行時間高速化を達成した。
• モデルのインサイトから導出された新しいヒューリスティクスALTHEAは、RMCですら完全な正確性と高い計算コストを有するにもかかわらず、速度と解の質の両面でRMCを上回った。