[論文レビュー] PyEPO: A PyTorch-based End-to-End Predict-then-Optimize Library for Linear and Integer Programming

Bo Tang, Elias B. Khalil|arXiv (Cornell University)|Jun 28, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

PyEPO は、線形および整数プログラミングのための PyTorch ベースのエンドツーエンド予測次第最適化ライブラリであり、最適化ソルバを微分可能トレーニングパイプラインに統合する。4つの最先端の手法を用いて意思決定の質を直接最適化可能であり、合成的および実世界の問題（最短経路や複数ナップサック問題など）において、二段階的手法よりも優れた意思決定の質を達成する。

ABSTRACT

In deterministic optimization, it is typically assumed that all problem parameters are fixed and known. In practice, however, some parameters may be a priori unknown but can be estimated from historical data. A typical predict-then-optimize approach separates predictions and optimization into two stages. Recently, end-to-end predict-then-optimize has become an attractive alternative. In this work, we present the PyEPO package, a PyTorchbased end-to-end predict-then-optimize library in Python. To the best of our knowledge, PyEPO (pronounced like pineapple with a silent "n") is the first such generic tool for linear and integer programming with predicted objective function coefficients. It provides four base algorithms: a convex surrogate loss function from the seminal work of Elmachtoub and Grigas [16], a differentiable black-box solver approach of Pogancic et al. [35], and two differentiable perturbation-based methods from Berthet et al. [6]. PyEPO provides a simple interface for the definition of new optimization problems, the implementation of state-of-the-art predict-then-optimize training algorithms, the use of custom neural network architectures, and the comparison of end-to-end approaches with the two-stage approach. PyEPO enables us to conduct a comprehensive set of experiments comparing a number of end-to-end and two-stage approaches along axes such as prediction accuracy, decision quality, and running time on problems such as Shortest Path, Multiple Knapsack, and the Traveling Salesperson Problem. We discuss some empirical insights from these experiments, which could guide future research. PyEPO and its documentation are available at https://github.com/khalil-research/PyEPO.

研究の動機と目的

• 線形および整数プログラミングにおけるエンドツーエンド予測次第最適化のための汎用的かつアクセスしやすいツールの不足を補う。
• 最適化ソルバをディープラーニングパイプラインにシームレスに統合し、意思決定に配慮した学習を可能にする。
• 多様な最適化問題においてエンドツーエンドと二段階的手法を比較可能な統一的かつ拡張可能なフレームワークを提供する。
• Gurobi や Pyomo を含むカスタムニューラルネットワークおよびソルバの使用をサポートし、広範な互換性を実現する。
• 実データおよび合成データを用いた実証的検証を通じて、エンドツーエンド学習が意思決定の質を向上させることの有効性を検証する。

提案手法

• PyEPO は自動微分を用いて最適化ソルバを PyTorch の計算グラフに埋め込み、ソルバを通り抜けるバックプロパゲーションを可能にする。
• 4つの主要なトレーニングアルゴリズムを実装している：凸な代替損失（Elmachtoub & Grigas, 2021）、微分可能なブラックボックスソルバ（Pogančić et al., 2019）、および2つの摂動ベース手法（Berthet et al., 2020）。
• ブラックボックスインターフェースまたは Pyomo や GurobiPy のような高水準モデリング言語を介して最適化問題を定義可能である。
• 予測誤差ではなく意思決定の質を直接最適化するカスタムニューラルネットワークアーキテクチャおよび損失関数を用いたトレーニングが可能である。
• 連続的および混合整数線形計画問題をサポートし、モデル更新のための勾配を計算する微分可能ソルバを備える。
• 実験は合成データセットおよび Warcraft 地形画像データセットを用い、レグRET（相対的後悔）および経路正確性を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド予測次第最適化は、線形および整数計画問題において二段階的手法に比べて意思決定の質を上回ることができるか？
• RQ2 微分可能最適化手法は、予測精度、意思決定の質、トレーニング効率の観点からどのように比較されるか？
• RQ3 特徴量が豊富な場合、例えば画像ベースの最適化問題においてエンドツーエンド学習に利点があるか？
• RQ4 緩和化および正則化技術は、エンドツーエンドモデルのパフォーマンスをどの程度向上させ得るか？
• RQ5 フレームワークは多様な最適化問題およびソルバをサポートしつつ、微分可能性とトレーニング効率を維持できるか？

主な発見

• PFYL 法は、Warcraft 最短経路問題において、正解エッジの割合（経路正確性）が最も高く、二段階手法および他のエンドツーエンド手法を上回った。
• 複数ナップサック問題および最短経路問題において、エンドツーエンド手法は相対的後悔の観点から、二段階手法に比べて顕著に意思決定の質が向上した。
• Warcraft 地形データセットにおいて、PFYL はトレーニング時に真のコスト値にアクセスできない状況でも競争力のある結果を達成しており、優れた一般化性能を示した。
• 最短経路タスクにおいて、二段階手法は SPO+ や PFYL と同等の性能を示したため、より単純な問題ではエンドツーエンド学習が必ずしも必要ではない可能性を示唆した。
• フレームワークは、正則化および緩和化技術が、複雑またはノイズの多い環境においてエンドツーエンドモデルのパフォーマンスを向上させられることを示した。
• PyEPO は、トレーニングパラダイムの効率的比較を可能にし、最先端のディープラーニングモデルおよびソルバとのプラグアンドプレイ統合をサポートする。