[論文レビュー] Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon

Yoshua Bengio, Andrea Lodi+1 more|arXiv (Cornell University)|Nov 14, 2018

Advanced Database Systems and Queries被引用数 41

ひとこと要約

データ分布の観点から問題インスタンスを捉えつつ、ポリシーを学習し、機械学習を組合せ最適化（CO）アルゴリズムと統合することで、機械学習、特に深層学習を用いて組合せ最適化問題を解決・改善する方法を概説する調査。

ABSTRACT

This paper surveys the recent attempts, both from the machine learning and\noperations research communities, at leveraging machine learning to solve\ncombinatorial optimization problems. Given the hard nature of these problems,\nstate-of-the-art algorithms rely on handcrafted heuristics for making decisions\nthat are otherwise too expensive to compute or mathematically not well defined.\nThus, machine learning looks like a natural candidate to make such decisions in\na more principled and optimized way. We advocate for pushing further the\nintegration of machine learning and combinatorial optimization and detail a\nmethodology to do so. A main point of the paper is seeing generic optimization\nproblems as data points and inquiring what is the relevant distribution of\nproblems to use for learning on a given task.\n

研究の動機と目的

• COアルゴリズムにおける意思決定を自動化または補完するために、機械学習と組合せ最適化の統合を動機づける。
• 最適化問題を分布から抽出されたデータ点として扱うデータ駆動型の手法を提案する。
• アルゴリズムポリシーを導出するための2つの学習パラダイム（模倣学習と強化学習）を論じる。
• COの構造が事前情報（ priors ）を提供すること、そして学習が問題分布全体に対して一般化できる方法を強調する。

提案手法

• 専門家の意思決定を模倣してポリシーを学習することと、経験的な強化学習を通じてポリシーを学習することという、2つの直交的な視点を説明する。
• ニューラルネットワーク、GNN、アテンション機構などの機械学習モデルを用いて、CO問題とアルゴリズム状態をどのように表現・処理するかを説明する。
• 高コストなCO決定（例：カット、分岐選択）を、学習による近似で置換・補完しつつ、CO構造を事前情報として保持する方法を示す。
• グラフ・部分問題などの構造化データ表現と、学習済みの価値ネットワーク／ポリシーネットワークを用いて、分岐限定法、カット平面、その他のCOコンポーネントを導くことを論じる。
• 問題インスタンスで学習する際の一般化の懸念と、分布仮定の重要性について触れる。

実験結果

リサーチクエスチョン

• RQ1 機械学習ポリシーを学習して、MILP/ブランチアンドバウンドの枠組み内で高価なCO決定（例：分岐やカット平面）を近似または置換するにはどうすればよいか？
• RQ2 COアルゴリズムで意思決定ポリシーを導くための効果的な学習設定（模倣 vs. 強化）とは何か？
• RQ3 学習したポリシーが未知のインスタンスに一般化するよう、問題分布をどのように定義し、MLモデルの訓練に活用すべきか？
• RQ4 CO問題に典型的な構造化データを最もよく扱う機械学習アーキテクチャ（例：GNN、アテンション、深層ネットワーク）はどれか？
• RQ5 MLをCOパイプラインに組み込む際に生じる実務的な課題は何か、そしてそれらをどう解決できるか？

主な発見

• MLは重いCO決定を近似して解く速度を向上させつつ、CO構造を事前知識として活用できる。
• 2つの学習パラダイムを探究する：専門家の動作を再現する模倣学習と、新しいポリシーを発見する強化学習。
• グラフベースおよびアテンション型ニューラルアーキテクチャは、構造化されたCOの部分問題を処理し、分岐やカット平面などの意思決定を導くことができる。
• Learning remaining within the CO ecosystem can maintain feasibility and optimality guarantees where appropriate, while improving empirical performance.
• CO problems can be treated as data points from a distribution, enabling learning to tailor algorithms to likely instance types.