[論文レビュー] Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon

Yoshua Bengio, Andrea Lodi+1 more|arXiv (Cornell University)|Nov 14, 2018

Advanced Database Systems and Queries被引用数 41

ひとこと要約

データ分布の観点から問題インスタンスを捉えつつ、ポリシーを学習し、機械学習を組合せ最適化（CO）アルゴリズムと統合することで、機械学習、特に深層学習を用いて組合せ最適化問題を解決・改善する方法を概説する調査。

ABSTRACT

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

研究の動機と目的

• COアルゴリズムにおける意思決定を自動化または補完するために、機械学習と組合せ最適化の統合を動機づける。
• 最適化問題を分布から抽出されたデータ点として扱うデータ駆動型の手法を提案する。
• アルゴリズムポリシーを導出するための2つの学習パラダイム（模倣学習と強化学習）を論じる。
• COの構造が事前情報（ priors ）を提供すること、そして学習が問題分布全体に対して一般化できる方法を強調する。

提案手法

• 専門家の意思決定を模倣してポリシーを学習することと、経験的な強化学習を通じてポリシーを学習することという、2つの直交的な視点を説明する。
• ニューラルネットワーク、GNN、アテンション機構などの機械学習モデルを用いて、CO問題とアルゴリズム状態をどのように表現・処理するかを説明する。
• 高コストなCO決定（例：カット、分岐選択）を、学習による近似で置換・補完しつつ、CO構造を事前情報として保持する方法を示す。
• グラフ・部分問題などの構造化データ表現と、学習済みの価値ネットワーク／ポリシーネットワークを用いて、分岐限定法、カット平面、その他のCOコンポーネントを導くことを論じる。
• 問題インスタンスで学習する際の一般化の懸念と、分布仮定の重要性について触れる。

実験結果

リサーチクエスチョン

• RQ1 機械学習ポリシーを学習して、MILP/ブランチアンドバウンドの枠組み内で高価なCO決定（例：分岐やカット平面）を近似または置換するにはどうすればよいか？
• RQ2 COアルゴリズムで意思決定ポリシーを導くための効果的な学習設定（模倣 vs. 強化）とは何か？
• RQ3 学習したポリシーが未知のインスタンスに一般化するよう、問題分布をどのように定義し、MLモデルの訓練に活用すべきか？
• RQ4 CO問題に典型的な構造化データを最もよく扱う機械学習アーキテクチャ（例：GNN、アテンション、深層ネットワーク）はどれか？
• RQ5 MLをCOパイプラインに組み込む際に生じる実務的な課題は何か、そしてそれらをどう解決できるか？

主な発見

• MLは重いCO決定を近似して解く速度を向上させつつ、CO構造を事前知識として活用できる。
• 2つの学習パラダイムを探究する：専門家の動作を再現する模倣学習と、新しいポリシーを発見する強化学習。
• グラフベースおよびアテンション型ニューラルアーキテクチャは、構造化されたCOの部分問題を処理し、分岐やカット平面などの意思決定を導くことができる。
• Learning remaining within the CO ecosystem can maintain feasibility and optimality guarantees where appropriate, while improving empirical performance.
• CO problems can be treated as data points from a distribution, enabling learning to tailor algorithms to likely instance types.