[論文レビュー] Ensuring DNN Solution Feasibility for Optimization Problems with Convex Constraints and Its Application to DC Optimal Power Flow Problems

Tianyu Zhao, Xiang Pan+2 more|arXiv (Cornell University)|Dec 15, 2021

Energy Load and Power Forecasting被引用数 9

ひとこと要約

本稿では、最適化問題における凸制約を有する深層ニューラルネットワーク（DNN）の解の妥当性を保証する予防的学習フレームワークを提案する。訓練中に不等式制約を体系的にキャリブレーションすることで、予測誤差を事前に予測する。この手法により、後処理を一切行わず100%の妥当性を達成し、IEEEテストシステムにおいて最大228倍の高速化を実現しながら、最適性損失が0.19%未満に抑えられ、既存のDNNベースラインを上回る性能を発揮する。

ABSTRACT

Ensuring solution feasibility is a key challenge in developing Deep Neural Network (DNN) schemes for solving constrained optimization problems, due to inherent DNN prediction errors. In this paper, we propose a ``preventive learning'' framework to guarantee DNN solution feasibility for problems with convex constraints and general objective functions without post-processing, upon satisfying a mild condition on constraint calibration. Without loss of generality, we focus on problems with only inequality constraints. We systematically calibrate inequality constraints used in DNN training, thereby anticipating prediction errors and ensuring the resulting solutions remain feasible. We characterize the calibration magnitudes and the DNN size sufficient for ensuring universal feasibility. We propose a new Adversarial-Sample Aware training algorithm to improve DNN's optimality performance without sacrificing feasibility guarantee. Overall, the framework provides two DNNs. The first one from characterizing the sufficient DNN size can guarantee universal feasibility while the other from the proposed training algorithm further improves optimality and maintains DNN's universal feasibility simultaneously. We apply the framework to develop DeepOPF+ for solving essential DC optimal power flow problems in grid operation. Simulation results over IEEE test cases show that it outperforms existing strong DNN baselines in ensuring 100% feasibility and attaining consistent optimality loss ($<$0.19%) and speedup (up to $ imes$228) in both light-load and heavy-load regimes, as compared to a state-of-the-art solver. We also apply our framework to a non-convex problem and show its performance advantage over existing schemes.

研究の動機と目的

• 内在的な予測誤差によるDNN解の不適切な妥当性という、制約付き最適化における深刻な課題に対処すること。
• 凸不等式制約を有する問題に対して、後処理を一切行わず妥当性を保証するフレームワークの開発。
• すべての入力パrameter領域において普遍的な妥当性を確保するとともに、高い最適性と高速性能を維持すること。
• 非凸問題へもフレームワークを拡張し、一般化能力を実証すること。
• リアルタイム電力系統運用を想定した直流潮流最適化（DC-OPF）問題への応用。

提案手法

• 非重要かつ線形等式制約を「予測・再構築」設計により除去することで、最適性を損なわずに意思決定変数を削減する。
• DNNの予測誤差に対する安全マージンを確保するため、制約の上限を体系的に低減することで制約キャリブレーションを導入する。
• 妥当な入力領域を維持する最大許容キャリブレーション率を求めるために、二段階最適化問題をヒューリスティックに解く。
• 普遍的妥当性を保証するための十分なDNNサイズを、整数線形計画法を用いて導出する。これにより、微調整なしに事前学習済みDNNを構築可能となる。
• 妥当性保証を損なわずに最適性性能を向上させるために、敵対的サンプルに配慮した学習アルゴリズムを提案する。
• 本フレームワークは2つのDNNを生成する：普遍的妥当性を保証するDNN-FG、および妥当性を損なわずに最適性を向上させるDNN-Optimality Enhanced。

実験結果

リサーチクエスチョン

• RQ1 凸制約付き最適化問題に対するDNNベースの解が、後処理を一切行わず、すべての入力パrameterに対して妥当性を保証できるか？
• RQ2 すべての入力に対して妥当性を維持するための最大許容制約キャリブレーション率は何か？
• RQ3 制約キャリブレーション下で普遍的妥当性を保証するのに十分なDNNサイズは何か？
• RQ4 敵対的サンプルに配慮した学習により、妥当性を損なわず最適性を向上させられるか？
• RQ5 非凸問題および実世界の電力系統（IEEEテストケースなど）において、このフレームワークはどのように性能を発揮するか？

主な発見

• DeepOPF+は、すべてのIEEEテストケース（Case14～Case300）において、後処理を一切行わず100%の妥当性を達成し、既存のDNNベースラインを上回る性能を示した。
• すべてのテストケースで最適性損失が0.19%未満であり、軽負荷および重負荷の両レジームで一貫した性能を発揮した。
• DeepOPF+は、最先端の反復的ソルバーと比較して最大228倍の高速化を達成し、大規模システムでは×115～×138の高速化を実現した。
• 妥当性保証DNN（DNN-FG）は、導出された十分なDNNサイズに基づき、学習がなくても構築時に普遍的妥当性を保証する。
• 敵対的サンプルに配慮した学習により、最適性性能が向上した一方で100%の妥当性を維持することが、比較シミュレーションで確認された。
• 非凸問題に対しても本フレームワークが優れた性能を発揮したため、凸問題に限らず広範な応用が期待できることが示された。