[論文レビュー] Learning for Convex Optimization

Sidhant Misra, Line Roald+1 more|arXiv (Cornell University)|Feb 26, 2018

Machine Learning and Algorithms被引用数 8

ひとこと要約

本稿では、理論的裏付けのあるストリーミングアルゴリズムを活用して、アクティブ制約集合を介して最適解を直接予測することにより、凸最適化の高速化を学習ベースで実現する手法を提案する。最適電力潮流ベンチマークにおける実験では、通常は少数のアクティブ制約集合しか関与しないことが判明し、これはリアルタイム意思決定システムに適したスケーラブルで解釈可能な抽象化である。

ABSTRACT

In many engineered systems, optimization is used for decision making at time-scales ranging from real-time operation to long-term planning. This process often involves solving similar optimization problems over and over again with slightly modified input parameters, often under stringent time requirements. We consider the problem of using the information available through this solution process to directly learn the optimal solution as a function of the input parameters, thus reducing the need of solving computationally expensive large-scale parametric programs in real time. Our proposed method is based on learning relevant sets of active constraints, from which the optimal solution can be obtained efficiently. Using active sets as features preserves information about the physics of the system, enables more interpretable learning policies, and inherently accounts for relevant safety constraints. Further, the number of relevant active sets is finite, which make them simpler objects to learn. To learn the relevant active sets, we propose a streaming algorithm backed up by theoretical results. Through extensive experiments on benchmarks of the Optimal Power Flow problem, we observe that often only a few active sets are relevant in practice, suggesting that this is the appropriate level of abstraction for a learning algorithm to target.

研究の動機と目的

• 繰り返し発生する問題インスタンスから直接最適解を学習することで、リアルタイム最適化における計算オーバーヘッドを低減すること。
• システムの物理法則と安全制約を保持する、コン pact で解釈可能な抽象化—アクティブ制約集合を同定すること。
• 関連するアクティブ制約集合を効率的に同定し、一般化するストリーミング学習アルゴリズムの開発。
• 実際の応用では、通常は少数のアクティブ制約集合で十分であることを検証すること。

提案手法

• 本手法は、関連するアクティブ制約集合を同定することで、入力パラメータの関数として最適解を学習する。
• 逐次的な最適化解からアクティブ制約集合を段階的に学習するストリーミングアルゴリズムを用いる。
• アクティブ制約集合を特徴量として用いることで、問題構造に内在する物理的および安全制約を保持する。
• 理論的保証により、ストリーミング学習プロセスの収束性と正しさを裏付ける。
• 入力から直接アクティブ制約集合へマッピングすることで、大規模パrametricプログラムを繰り返し解く必要を回避する。
• スケーラビリティと正確性を評価するため、ベンチマークとしての最適電力潮流問題を用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 アクティブ制約集合は、凸最適化における最適解の学習に効果的かつ解釈可能な抽象化として機能するか？
• RQ2 実際の応用において、実世界の最適化問題では通常、何個のアクティブ制約集合が関連しているか？
• RQ3 ストリーミング学習アルゴリズムは、逐次的な解から関連するアクティブ制約集合を効果的に同定し、一般化できるか？
• RQ4 アクティブ制約集合を用いた学習は、時間制約のあるリアルタイム応用において、従来の最適化を上回る性能を示すか？

主な発見

• 最適電力潮流のような複雑な問題でさえ、実際には通常は少数のアクティブ制約集合しか関与しないことが判明した。
• アクティブ制約集合を特徴量として用いることで、物理的システム制約が保持され、学習された方策の解釈可能性が向上した。
• 提案されたストリーミングアルゴリズムは、理論的保証のもとで関連するアクティブ制約集合を効果的に同定できた。
• 本手法により、リアルタイムにおける計算コストの高いパラメトリックプログラムの再解法の必要性が顕著に低減された。