[論文レビュー] ML4CO: Is GCNN All You Need? Graph Convolutional Neural Networks Produce Strong Baselines For Combinatorial Optimization Problems, If Tuned and Trained Properly, on Appropriate Data

Amin Banitalebi-Dehkordi, Yong Zhang|arXiv (Cornell University)|Dec 22, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、適切にチューニングされたグラフ畳み込みニューラルネットワーク（GCNN）が、分枝限定法アルゴリズムにおける変数選択を学習することで、組合せ最適化問題において最先端の性能を達成できることを示している。ファイバー・エレクトロニクス・インターレイテッド（Huawei EI-OROAS）チームは、NeurIPS 2021 ML4COコンペティションで2位を獲得し、週次評価でも一貫して上位ランクインを記録した。これは、GCNNが適切に問題固有のデータで訓練された場合、従来のヒューリスティクスを上回ることを裏付けている。

ABSTRACT

The 2021 NeurIPS Machine Learning for Combinatorial Optimization (ML4CO) competition was designed with the goal of improving state-of-the-art combinatorial optimization solvers by replacing key heuristic components with machine learning models. The competition's main scientific question was the following: is machine learning a viable option for improving traditional combinatorial optimization solvers on specific problem distributions, when historical data is available? This was motivated by the fact that in many practical scenarios, the data changes only slightly between the repetitions of a combinatorial optimization problem, and this is an area where machine learning models are particularly powerful at. This paper summarizes the solution and lessons learned by the Huawei EI-OROAS team in the dual task of the competition. The submission of our team achieved the second place in the final ranking, with a very close distance to the first spot. In addition, our solution was ranked first consistently for several weekly leaderboard updates before the final evaluation. We provide insights gained from a large number of experiments, and argue that a simple Graph Convolutional Neural Network (GCNNs) can achieve state-of-the-art results if trained and tuned properly.

研究の動機と目的

• 機械学習、特にGCNNが、繰り返し現れる構造的パターンを持つ問題分布に対して、組合せ最適化ソルバーのヒューリスティック部品を改善できるかどうかを調査すること。
• 混合整数線形計画法（MILP）における分枝限定法の変数選択をGCNNがどれだけ効果的に学習できるかを評価すること。
• 実世界の最適化環境において、モデル性能に顕著な影響を与える重要なハイパーパrameterとデータ工学の実践を同定すること。
• 実務家が神経ネットワークの性能を最大限に引き出すための実用的ガイドラインを提供すること。

提案手法

• チームは、MILPの分枝限定プロセス中に分枝すべき最良の変数を予測するために、グラフ畳み込みニューラルネットワーク（GCNN）を採用した。
• モデルは、SCIPソルバーのログから収集したデータを用いて訓練され、解法時間の短縮に基づく報酬信号を用いた強化学習の枠組みで学習された。
• データ収集は、強い分枝の確率を変化させたり、異なる時間制限を設定したりして、多様なトレーニング軌道を生成するためのサンプリングを実施した。
• 学習率、バッチサイズ、GCNアーキテクチャの深さ、トレーニングサンプルサイズといったハイパーパrameterを調整し、検証性能を最適化した。
• 標準化されたベンチマーク（アイテム配置、負荷分散、匿名問題の3分野）を用いて、MILPインスタンスの性能を評価した。
• チームは、全体の報酬（解法時間の改善）に加えて、上位k個の変数選択精度（top-1からtop-10）を同時に追跡する多目的評価戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 適切に訓練・チューニングされた単純なGCNNは、組合せ最適化で最先端の性能を達成できるか？
• RQ2 トレーニングサンプルサイズ、時間制限、強い分枝の確率といったハイパーパrameterが、最終的なモデル性能にどのように影響するか？
• RQ3 上位1位の変数選択精度と、全体の解法時間の改善（すなわち報酬）との相関はどの程度か？
• RQ4 この設定において、トレーニングデータサイズを増やすと常にモデルの一般化性能が向上するのか？
• RQ5 データ工学は、最適化におけるニューラルネットワークの高性能を達成するために、どのような役割を果たすのか？

主な発見

• GCNNベースのモデルは、最終的なNeurIPS 2021 ML4COコンペティションで2位を達成し、1位との差は僅かであった。
• 最終評価の前までに複数回の週次リーダーボードで1位を維持しており、強力な一般化性能とロバストネスを示した。
• 大きなトレーニングデータセットサイズが、必ずしも高い報酬に繋がらないことが判明し、一般的に「データが多いほど良い」とされる仮定に疑問を呈した。
• 上位5位および上位10位の変数選択精度は頻繁に90％を超えており、GCNNが高品質な分枝候補を信頼性高く特定できることを示唆している。
• データ収集段階での強い分枝の確率や時間制限といったハイパーパrameterに、モデルの性能が非常に敏感であることが判明し、データの質と多様性が極めて重要であることが明らかになった。
• 本研究は、データ中心のAI（丁寧なデータ収集と前処理）が、モデルアーキテクチャと同等に、組合せ最適化における高性能を達成するために重要である可能性を示している。