[論文レビュー] The Machine Learning for Combinatorial Optimization Competition (ML4CO): Results and Insights

Maxime Gasse, Quentin Cappart+39 more|arXiv (Cornell University)|Mar 4, 2022

Vehicle Routing Optimization Methods被引用数 7

ひとこと要約

本論文は、組合せ最適化コンペティションであるMachine Learning for Combinatorial Optimization Competition (ML4CO) を提示する。このコンペティションでは、3つのタスクにおけるヒューリスティックな部品を置き換えることで、正確なソルバの性能を向上させる機械学習モデルを評価した。タスクは、妥当解の探索、タイトな最適性証明の生成、ソルバパラメータの設定である。コンペティションの結果、特にパラメータチューニングにベイズ最適化を用いた機械学習ベースの手法が、実世界のMILPベンチマークにおいてSCIPソルバの性能を最大2.33倍まで向上させた。

ABSTRACT

Combinatorial optimization is a well-established area in operations research and computer science. Until recently, its methods have focused on solving problem instances in isolation, ignoring that they often stem from related data distributions in practice. However, recent years have seen a surge of interest in using machine learning as a new approach for solving combinatorial problems, either directly as solvers or by enhancing exact solvers. Based on this context, the ML4CO aims at improving state-of-the-art combinatorial optimization solvers by replacing key heuristic components. The competition featured three challenging tasks: finding the best feasible solution, producing the tightest optimality certificate, and giving an appropriate solver configuration. Three realistic datasets were considered: balanced item placement, workload apportionment, and maritime inventory routing. This last dataset was kept anonymous for the contestants.

研究の動機と目的

• 問題固有のデータ分布上でトレーニングされた機械学習が、従来の組合せ最適化ソルバの性能を向上させられるかどうかを調査すること。
• 毎日繰り返し発生する類似した最適化問題（例：エネルギー供給網の管理やルーティング）を、汎用ソルバーよりも効率的に解くという実用的課題に取り組むこと。
• 実世界のMILPベンチマークを用いて、3つの異なるタスク（プライマル解の探索、デュアル分岐意思決定、ソルバ設定）における機械学習モデルの性能を評価すること。
• Ecoleに基づくOpenAI Gym風のAPIを用いて、多様な産業応用分野において再現可能である標準化されたベンチマークフレームワークを提供すること。
• Googleと匿名の産業ルーティング問題から得た実世界のデータセットを用いたコンペティションを主催することで、データ駆動型最適化分野におけるイノベーションを促進すること。

提案手法

• コンペティションはEcoleライブラリに基づく統一APIを用い、SCIP MIPソルバ内に3つの制御タスク（プライマル、デュアル、設定）を公開した。
• 参加者は、3つの公開MILPベンチマーク（バランス型アイテム配置、ワークロード割り当て、匿名の海運在庫ルーティング）上で機械学習モデルをトレーニングした。
• 設定タスクでは、二段階のベイズ最適化アプローチが用いられた。探索空間をk個の部分空間に分割し、それぞれを補間モデルと獲得関数を用いて独立に最適化した。
• XGBoostオブザーバーを用いてGini重要度を活用し、無関係なパラメータを削減することで探索空間を洗練させ、最適化の効率を向上させた。
• 目的関数は、候補パラメータセットでSCIPを設定した後、すべてのテストインスタンスにおけるプライマル・デュアルギャップ積分の平均値であった。
• この方法では、SCIPのデフォルト設定を用いた完全な解の初期化を行い、各部分空間からの部分最適な設定を組み合わせて、グローバルな最良解を反復的に更新した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、問題分布上でトレーニングされた場合、正確な組合せ最適化ソルバの主要なヒューリスティック部品を効果的に置き換えることができるか？
• RQ2 実世界のMILPインスタンスにおいて、機械学習ベースのハイパーパramータチューニングは、デフォルトのソルバ設定をどの程度上回るか？
• RQ3 構造やスケールが異なる多様な実世界の最適化問題において、機械学習強化手法の頑健性はどの程度か？
• RQ4 トランスファー学習やメタ最適化技術は、同じアプリケーションドメイン内の異なる問題タイプにわたる一般化を向上させることができるか？
• RQ5 データ駆動型モデル設計は、混合整数プログラミングにおけるプライマル解およびデュアル解の効率性と品質にどのような影響を与えるか？

主な発見

• 最良の設定手法は、ワークロード割り当てベンチマークにおいて、SCIPのデフォルトパラメータと比較してプライマル・デュアルギャップの低減を2.33倍向上させた。
• 匿名の海運在庫ルーティングデータセットでは、チューニングされた設定によりプライマル・デュアルギャップが1.55倍低減され、複雑な実世界問題においても高い性能を示した。
• プライマルタスクには12件、デュアルタスクには23件、設定タスクには15件の提出があり、分野における強い研究関心がうかがえる。
• XGBoostを用いた特徴量重要度とベイズ最適化の併用により、有効な探索空間が著しく狭められ、収束性と解の品質が向上した。
• 実産業応用から得た匿名データセットは、複数の問題インスタンスで一貫した向上を示し、手法の頑健性を裏付けた。
• 結果から、歴史的問題インスタンス上でトレーニングされたデータ駆動型・アプリケーション固有の機械学習モデルは、一般向けソルバーよりも顕著に優れた性能を発揮できることが確認された。