[論文レビュー] Learning Linear Programs from Optimal Decisions

Yingcong Tan, Daria Terekhov+1 more|arXiv (Cornell University)|Jun 16, 2020

Machine Learning and Algorithms参考文献 53被引用数 8

ひとこと要約

本稿では、最適意思決定から線形計画問題（LP）を勾配ベースで学習するフレームワークを提案する。陰関数微分を用いて、コスト、制約、損失関数を同時に最適化可能であり、PyTorch互換の内点法ソルバ（バックプロパゲーション対応）を用いることで、高次元パrameter空間において非勾配法を上回る性能を発揮する。

ABSTRACT

We propose a flexible gradient-based framework for learning linear programs from optimal decisions. Linear programs are often specified by hand, using prior knowledge of relevant costs and constraints. In some applications, linear programs must instead be learned from observations of optimal decisions. Learning from optimal decisions is a particularly challenging bi-level problem, and much of the related inverse optimization literature is dedicated to special cases. We tackle the general problem, learning all parameters jointly while allowing flexible parametrizations of costs, constraints, and loss functions. We also address challenges specific to learning linear programs, such as empty feasible regions and non-unique optimal decisions. Experiments show that our method successfully learns synthetic linear programs and minimum-cost multi-commodity flow instances for which previous methods are not directly applicable. We also provide a fast batch-mode PyTorch implementation of the homogeneous interior point algorithm, which supports gradients by implicit differentiation or backpropagation.

研究の動機と目的

• 観測された最適意思決定のみから線形計画問題を学ぶ課題に取り組むこと。
• パrametricな定式化のもとで、コスト、制約、損失関数を含むすべてのLPパrameterを一括して学習可能な柔軟でエンドツーエンド微分可能なフレームワークを開発すること。
• 逆最適化における主な課題、すなわち不可行解、空の実行可能領域、一意でない最適意思決定の問題を克服すること。
• 観測された最適意思決定を再現できるパラメトリック線形計画問題（PLP）を学習することで、新たな状況への一般化を可能にすること。

提案手法

• 外側の最適化ループでパラメータ w を最適化し、観測された意思決定が実行可能かつ最適となるようにする二段階最適化として学習問題を定式化する。
• 特徴量 u とパラメータ w に依存する係数を持つパラメトリック線形計画問題（FOP）を採用し、新たな状況への一般化を可能にする。
• PyTorchで実装された同次内点法アルゴリズムを用い、陰関数微分またはバックプロパゲーションによる勾配をサポートする。
• 高次元空間における w の効率的最適化のために、陰関数勾配を用いた逐次二次計画法（SQP）を適用する。
• 内側最適化問題の解に沿って勾配を逆伝播可能にする微分可能ソルバを導入し、エンドツーエンド学習を可能にする。
• 実行可能性と最適性の制約を損失関数に組み込むことで、一意でない最適解や空の実行可能領域に対処する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法は、観測された最適意思決定からコスト、不等式制約、等式制約を含む線形計画問題のすべてのパラメータを効果的に学習できるか？
• RQ2 特定のパラメータ設定下で観測意思決定が不可行である、または実行可能領域が空である場合、本手法はどのように対処するか？
• RQ3 高次元パラメータ空間において、勾配ベース最適化（例：SQP）は非勾配法（例：COBYLA、SLSQP）に比べてどの程度の性能を発揮するか？
• RQ4 観測された最適意思決定を一貫して再現できるパラメトリック線形計画問題（PLP）を学習することで、未観測の状況への一般化は可能か？
• RQ5 数値許容誤差やソルバ設定の変化に対して、本手法はどの程度のロバストネスを示すか？

主な発見

• 勾配ベースのSQP手法は、非勾配法（例：COBYLA、SLSQP）に比べて一貫して優れた性能を発揮し、特に高次元パラメータ空間において顕著である。
• 本手法は、合成線形計画問題と最小コスト多品目フローインスタンスを成功裏に学習でき、従来の手法が直接適用できない状況でも有効である。
• PyTorchに実装された同次内点法ソルバにより、微分可能最適化が可能となり、内側LPの解に沿ったバックプロパゲーションが可能である。
• D=10、M1=80、M2=2の条件下で、テストインスタンスの100%で訓練損失がゼロに収束し、強い収束性を示した。
• 数値許容誤差やPyTorchバージョンの変更に対しても本手法はロバストであり、さまざまな設定下でも安定した性能を示した。
• 非勾配法（例：RS）は、等式制約の不可行性のため、実行可能なパラメータに到達できず、勾配ベース最適化の必要性を浮き彫りにした。