[論文レビュー] Self-Supervised Primal-Dual Learning for Constrained Optimization

Seonho Park, Pascal Van Hentenryck|arXiv (Cornell University)|Aug 18, 2022

Reservoir Engineering and Simulation Methods被引用数 4

ひとこと要約

本稿では、制約付き最適化問題の解を近似するため、プリマルとデュアルのニューラルネットワークを同時に学習する自己教師付き手法であるプリマルデュアル学習（PDL）を提案する。PDLは、拡張ラグランジュ法（ALM）の軌道を模倣することで、最適化ソルバーや事前に解かれたインスタンスを必要とせず、非線形ベンチマーク（QP、QCQP、AC-OPF問題を含む）において制約違反が無視できるほど小さく、ALMと同等の最適性ギャップを達成する。

ABSTRACT

This paper studies how to train machine-learning models that directly approximate the optimal solutions of constrained optimization problems. This is an empirical risk minimization under constraints, which is challenging as training must balance optimality and feasibility conditions. Supervised learning methods often approach this challenge by training the model on a large collection of pre-solved instances. This paper takes a different route and proposes the idea of Primal-Dual Learning (PDL), a self-supervised training method that does not require a set of pre-solved instances or an optimization solver for training and inference. Instead, PDL mimics the trajectory of an Augmented Lagrangian Method (ALM) and jointly trains primal and dual neural networks. Being a primal-dual method, PDL uses instance-specific penalties of the constraint terms in the loss function used to train the primal network. Experiments show that, on a set of nonlinear optimization benchmarks, PDL typically exhibits negligible constraint violations and minor optimality gaps, and is remarkably close to the ALM optimization. PDL also demonstrated improved or similar performance in terms of the optimality gaps, constraint violations, and training times compared to existing approaches.

研究の動機と目的

• 教師あり学習の制約付き最適化への応用における限界、特にコストの高い事前解法インスタンス生成と、蓄積された制約ペナルティによる実行可能性の喪失を是正するため。
• 事前解法データや最適化ソルバを学習および推論時に必要としない自己教師付き代替手法を開発するため。
• インスタンス固有の制約乗数を可能にする共同プリマルデュアルネットワーク学習方式により、解の質を向上させるため。
• 自己教師付きプリマルデュアル学習が、標準的な最適化ソルバとして知られる拡張ラグランジュ法（ALM）と同等の最適性ギャップと制約違反を達成できることを示すため。
• 価格推定やソルバのウォームスタートなどの後続タスクに、デュアルネットワークの近似が有効である可能性を検討するため。

提案手法

• PDLは、拡張ラグランジュ法（ALM）の反復的軌道を模倣する自己教師付き学習目的関数を定式化し、プリマルおよびデュアルのニューラルネットワークを同時に学習する。
• プリマル損失関数にインスタンス固有のデュアル変数（乗数）を用いることで、制約違反をペナルティ化し、動的かつ適応的な実行可能性の維持を可能にする。
• プリマルネットワークは意思決定変数を予測し、デュアルネットワークはラグランジュ乗数を推定する。両者を反復的に更新することで、真のプリマルおよびデュアル解に収束させる。
• 学習プロセスでは、事前に解かれたインスタンスや最適化ソルバへのアクセスを一切不要とし、ALMのダイナミクスと問題の数学的定式化に依存する。
• このフレームワークは汎用的であり、適合性回復に暗黙的層を用いるような多様なニューラルネットワークアーキテクチャをサポートする。
• PDLは凸および非凸な二次計画問題、QCQP、AC-OPF問題に適用され、最適性ギャップと制約違反の指標を用いて性能が評価されている。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き手法が、制約付き最適化の入出力マッピング学習において、事前に解かれたトレーニングインスタンスの必要性を排除できるか？
• RQ2 インスタンス固有の乗数を有するプリマルデュアル学習フレームワークが、従来の教師ありおよびプリマルのみの自己教師付き手法に比べ、実行可能性と最適性の両面で優れているか？
• RQ3 PDLの性能は、解の質と制約違反の観点で、拡張ラグランジュ法（ALM）と比べてどうか？
• RQ4 特に大量のデータ生成を要する問題において、PDLの学習効率は教師ありベースラインと比べてどの程度か？
• RQ5 PDLから得られるデュアルネットワークの近似は、価格推定や最適化ソルバのウォームスタートなどの後続応用を支援できるか？

主な発見

• 凸および非凸QP問題において、PDLは最適性ギャップ0.03(0.01)、最大制約違反0.08(0.02)を達成し、実行不可能性が無視できるほど小さく、高い精度を示した。
• AC-OPF問題（case56およびcase118）において、PDLは最適性ギャップ0.37(0.52)、最大制約違反0.03(0.01)を達成し、教師ありペナルティ法およびラグランジュ緩和ベースラインを上回った。
• QCQP問題において、PDLは最適性ギャップ0.05(0.01)、制約違反0.02(0.00)を達成し、極めて低い誤差で優れた性能を示した。
• PDLの学習時間は、教師ありベースラインLDと同等であった（例：QCQPでは5553.2秒対3572.3秒）が、教師あり手法が要する715時間のデータ生成コストを回避した。
• AC-OPF case118では、PDLの学習に7605.1秒を要したが、教師ありベースラインのデータ生成には13,120.3秒を要した。これは、PDLがデータが乏しい環境でも効率的であることを示している。
• PDLの解はALMに著しく近く、すべてのベンチマークで最適性ギャップおよび制約違反が、既存の手法と同等またはそれを上回る水準を維持した。