[論文レビュー] What's Wrong with Deep Learning in Tree Search for Combinatorial Optimization

Maximilian Böther, Otto Kißig+4 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この論文は、組合せ最適化における木探索におけるディープラーニングの有効性を批判的に評価しており、特に最大独立集合問題を対象としている。インテル・ツリーサーチの影響力のあるアルゴリズムを、コード品質を向上させた上で再実装し、そのグラフニューラルネットワーク（GNN）が意味のある解の表現を学習していないことを示した。GNNの出力をランダム値に置き換えても、同等の性能が得られる。主な発見は、解の品質を左右するのはディープラーニングではなく、グラフカーネル化などのアルゴリズム的手法であり、これにより、従来のディープラーニングベースのソルバーの再現可能性と主張される有効性が揺らぐことである。

ABSTRACT

Combinatorial optimization lies at the core of many real-world problems. Especially since the rise of graph neural networks (GNNs), the deep learning community has been developing solvers that derive solutions to NP-hard problems by learning the problem-specific solution structure. However, reproducing the results of these publications proves to be difficult. We make three contributions. First, we present an open-source benchmark suite for the NP-hard Maximum Independent Set problem, in both its weighted and unweighted variants. The suite offers a unified interface to various state-of-the-art traditional and machine learning-based solvers. Second, using our benchmark suite, we conduct an in-depth analysis of the popular guided tree search algorithm by Li et al. [NeurIPS 2018], testing various configurations on small and large synthetic and real-world graphs. By re-implementing their algorithm with a focus on code quality and extensibility, we show that the graph convolution network used in the tree search does not learn a meaningful representation of the solution structure, and can in fact be replaced by random values. Instead, the tree search relies on algorithmic techniques like graph kernelization to find good solutions. Thus, the results from the original publication are not reproducible. Third, we extend the analysis to compare the tree search implementations to other solvers, showing that the classical algorithmic solvers often are faster, while providing solutions of similar quality. Additionally, we analyze a recent solver based on reinforcement learning and observe that for this solver, the GNN is responsible for the competitive solution quality.

研究の動機と目的

• 再現性の危機に対処するため、標準化されたベンチマークスイートを提供すること。
• ガイドドツリーサーチにおけるGNNが解の品質を実際に向上させているのか、それともアルゴリズム的要因によるものなのかを厳密に評価すること。
• NP困難な問題において、機械学習ベースのソルバーと古典的アルゴリズムベースのソルバーの速度と解の品質を比較すること。
• 最近の強化学習アプローチが競争力のある性能を発揮しているかどうかを評価し、GNNがその成功に不可欠であるかを検証すること。
• 最大独立集合問題に対する将来のソルバーの公平で拡張可能かつ再現可能な評価の基盤を確立すること。

提案手法

• 5つの最先端のソルバー（インテル・ツリーサーチ、グローブイ、カミス、学習して遅延するもの、およびPyTorch/DGLベースのインテル・ツリーサーチ再実装（DGL-ツリーサーチ））をサポートするオープンソースで拡張可能なベンチマークスイートを開発した。
• 再現性を確保し、体系的なアブレーションスタディを可能にするために、綺麗でモジュラーかつパフォーマンスに優れたコードでインテル・ツリーサーチアルゴリズムを再実装した。
• GNNの出力をランダム値に置き換えることで、ネットワークが解の品質に実際に寄与しているかをテストする、包括的なアブレーション実験を実施した。
• 木探索フレームワーク内にグラフカーネル化やその他のアルゴリズム的最適化を適用し、ディープラーニング部品とは独立してその影響を分離した。
• 実世界および合成的なグラフデータセットを用いて、機械学習ベースのソルバーと古典的ソルバー（グローブイ、カミス）の性能を比較した。
• 強化学習ベースのソルバー（学習して遅延するもの）を評価し、その競争力ある性能がGNNに起因しているのか、それとも他の要因がより重要なのかを検証した。

実験結果

リサーチクエスチョン

• RQ1 インテル・ツリーサーチアルゴリズムにおけるグラフニューラルネットワークは、最大独立集合問題の解構造を意味のある表現として学習しているか？
• RQ2 GNNの出力をランダム値に置き換えても、ガイドドツリーサーチの性能が再現可能か？これはネットワークが本質的でないことを示唆する。
• RQ3 グラフカーネル化などのアルゴリズム的手法が、木探索におけるディープラーニング部品と比較して、解の品質にどの程度寄与しているか？
• RQ4 カーネル化が適用されていない場合、古典的アルゴリズムベースのソルバー（例：グローブイ、カミス）は、ディープラーニングベースの木探索アプローチと比較して、速度と解の品質の両面で優れているか？
• RQ5 最近の強化学習ベースのソルバーが組合せ最適化で成功を収めているのは、GNNのコンponentのおかげなのか、それとも他の要因がより重要なのか？

主な発見

• インテル・ツリーサーチのGNNは、解構造の意味のある表現を学習していない。GNNの出力をランダム値に置き換えても、解の品質はほぼ同一である。
• 木探索における性能向上の主な要因は、グラフカーネル化やその他のアルゴリズム的最適化であり、ディープラーニング部品ではない。
• オリジナルのインテル・ツリーサーチの論文結果は、オリジナルコードでも再実装コードでも再現できない。非再現可能なハイパーパramータと実装上のアーチファクトに依存しているためである。
• カーネル化が適用されていない場合、グローブイやカミスなどの古典的ソルバーは、ディープラーニングベースの木探索ソルバーを速度と解の品質の両面で上回る。
• 強化学習ベースのソルバー「学習して遅延するもの」は、迅速に競争力のある結果を達成しており、そのGNNはこの性能に不可欠である。これは、GNNが特定の学習ベースのフレームワークでは有効に機能しうることを示唆している。
• ベンチマークスイートにより、多様なグラフタイプにわたる最大独立集合問題に対する将来のソルバーの公平で再現可能かつ拡張可能な評価が可能になった。