[論文レビュー] Melding the Data-Decisions Pipeline: Decision-Focused Learning for Combinatorial Optimization

Bryan Wilder, Bistra Dilkina+1 more|arXiv (Cornell University)|Sep 14, 2018

Machine Learning and Data Classification参考文献 32被引用数 8

ひとこと要約

本稿では、離散的問題の連続的緩和を介して勾配を逆伝播することで、組合せ最適化とエンドツーエンドに学習する意思決定焦点型学習というフレームワークを提案する。予測精度ではなく意思決定の質に直接対応してモデルを訓練することで、予測精度の指標が低くても、最適化性能が著しく向上する。例えば、二部マッチングでは、70%多くのマッチングが達成された。

ABSTRACT

Creating impact in real-world settings requires artificial intelligence techniques to span the full pipeline from data, to predictive models, to decisions. These components are typically approached separately: a machine learning model is first trained via a measure of predictive accuracy, and then its predictions are used as input into an optimization algorithm which produces a decision. However, the loss function used to train the model may easily be misaligned with the end goal, which is to make the best decisions possible. Hand-tuning the loss function to align with optimization is a difficult and error-prone process (which is often skipped entirely). We focus on combinatorial optimization problems and introduce a general framework for decision-focused learning, where the machine learning model is directly trained in conjunction with the optimization algorithm to produce high-quality decisions. Technically, our contribution is a means of integrating common classes of discrete optimization problems into deep learning or other predictive models, which are typically trained via gradient descent. The main idea is to use a continuous relaxation of the discrete problem to propagate gradients through the optimization procedure. We instantiate this framework for two broad classes of combinatorial problems: linear programs and submodular maximization. Experimental results across a variety of domains show that decision-focused learning often leads to improved optimization performance compared to traditional methods. We find that standard measures of accuracy are not a reliable proxy for a predictive model's utility in optimization, and our method's ability to specify the true goal as the model's training objective yields substantial dividends across a range of decision problems.

研究の動機と目的

• AIパイプラインにおける予測モデルの精度と最終的意思決定の質の間の不一致を解消すること。
• 予測→最適化の二段階訓練の限界を克服すること。この手法では、モデルの損失が最適化の目的関数と分離されている。
• 離散的組合せ最適化を微分可能な機械学習パイプラインに統合する一般化されたフレームワークを開発すること。
• 離散的最適化問題の連続的緩和を用いて、勾配ベースの訓練を予測モデルに可能にすること。
• 意思決定焦点型学習が、予測精度が低い場合でも、実世界の意思決定の質において、従来の二段階手法を上回ることを実証すること。

提案手法

• 線形計画法、部分モジュラ最大化などの離散的組合せ最適化問題の連続的緩和を用い、最適化プロセス全体に勾配を逆伝播可能にする。
• 緩和された問題の最適解をモデルの予測に関して解析的に微分することで、エンドツーエンドの訓練を可能にする。
• ニューラルネットワーク、ランダムフォレストなどの予測モデルを、標準的な精度指標ではなく、それらが誘発する意思決定の目的値に基づいて訓練する。
• 推論時、緩和された問題の連続的解を丸めて離散的かつ妥当な意思決定を取得する。
• 線形計画法と部分モジュラ最大化という2つの主要な組合せ最適化問題クラスに、それぞれ特化した緩和手法を適用する。
• 意思決定の質を反映する代理目的関数を用い、標準的な精度指標が低下しても、最適化に不可欠な特徴をモデルが学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 予測精度の指標ではなく意思決定の質に直接基づいて訓練することで、従来の二段階訓練に比べて最適化の結果が改善されるか？
• RQ2 標準的な予測精度指標（例：MSE、AUC）と組合せ最適化における実際の意思決定の質との相関度はどの程度か？
• RQ3 意思決定焦点型モデルは二段階モデルと予測がどのように異なるか。また、どのような特徴を優先的に学習するか？
• RQ4 離散的問題の連続的緩和は、組合せ最適化の文脈で有効な勾配ベースの訓練を可能にするか？
• RQ5 低信号の実世界ドメインにおいて、予測精度が低い場合でも、意思決定焦点型学習は一貫して従来手法を上回るか？

主な発見

• 意思決定焦点型学習は、さまざまなドメインで意思決定の質を著しく向上させる。二部マッチングのタスクでは、NN2-Decisionが次善の手法に比べて約70%多くのマッチングを達成した。
• 平均二乗誤差（MSE）と交差エントロピー損失が悪いにもかかわらず、意思決定焦点型モデル（例：NN1-Decision）は、多様な推薦ドメインにおいて、二段階手法の2.7倍の高い目的値を達成した。
• 意思決定焦点型学習で訓練された予測モデルは、真のチャンネル出重み（最適意思決定の鍵となる指標）と強く相関（R² = 0.94）していたが、予測値が真値と視覚的に異なるように見えても同様であった。
• 標準的な精度指標（MSE、AUC）は意思決定の質と弱く相関していた。例えば、MSEで最も優れたモデル（NN2-2Stage）は、二部マッチングにおいて最悪の解の質を示した。
• ランダムフォレストのような高表現力を持つモデルは、二段階手法で訓練された場合、意思決定焦点型の文脈ではうまく機能しなかった。これは、モデル容量だけでは不十分であり、目的関数の整合性が不可欠であることを示している。
• 本手法の成功は、全体の予測精度を犠牲にしてでも意思決定に不可欠な特徴（例：高出重みチャンネル）に注目することで得られており、タスク固有の訓練目的が意思決定の質をより効果的に最適化できることを示している。