[論文レビュー] Approximate Dynamic Programming with Feasibility Guarantees

Alexander Engelmann, Maísa Beraldo Bandeira+1 more|arXiv (Cornell University)|Jun 9, 2023

Optimal Power Flow Distribution被引用数 4

ひとこと要約

本稿は、非凸制約を伴う木構造最適化問題に対する、1回のバックワード・フォワードパスで実行可能解を保証する新しい近似動的計画法（ADP）スキームを提案する。価値関数近似と集合射影を用いた実行可能集合の内部近似を組み合わせることで、コスト情報を統合しながら1回のパスで実行可能解を得る。従来の電力系統および最適制御分野の手法を一般化する。

ABSTRACT

Safe and economic operation of networked systems is often challenging. Optimization-based schemes are frequently considered, since they achieve near-optimality while ensuring safety via the explicit consideration of constraints. In applications, these schemes, however, often require solving large-scale optimization problems. Iterative techniques from distributed optimization are frequently proposed for complexity reduction. Yet, they achieve feasibility only asymptotically, which induces a substantial computational burden. This work presents an approximate dynamic programming scheme, which is guaranteed to deliver a feasible solution in "one shot", i.e., in one backward-forward iteration over all subproblems provided they are coupled by a tree structure. Our proposed scheme generalizes methods from seemingly disconnected domains such as power systems and optimal control. We demonstrate its efficacy for problems with nonconvex constraints via numerical examples from both domains.

研究の動機と目的

• 反復的精練を要しない大規模かつ階層的なネットワーク系最適化において、実行可能性を達成する課題に対処すること。
• 反復的ではなく1回のパスで実行可能性を保証する手法を開発すること。これにより、分散最適化の漸近的実行可能性と、古典的動的計画法における次元の呪いを克服する。
• コスト情報と非凸制約を組み込むことで、電力系統および最適制御分野における既存手法を統合・一般化すること。
• 計算遅延と実行可能性が重要なリアルタイム応用における実用的導入を可能にすること。
• 一般制約集合を伴う木構造問題における近似動的計画法の形式的実行可能性保証を提供すること。

提案手法

• コストと実行可能性情報を統合した拡張実数値の価値関数を用い、葉から根へ向かう再帰的バックワード伝播を可能にする。
• 部分問題の実行可能集合の内部近似を導入し、親問題においても解が実行可能であることを保証する。
• 集合射影を用いてこれらの内部近似を計算し、木構造を通じて実行可能制約を伝播可能にする。
• 1回のバックワードパスで近似価値関数と実行可能集合を計算し、その後フォワードパスで実行可能解を算出する。
• コスト情報は、価値関数内で区分的2次関数または多面体近似により正確または近似的に保持される。
• 特にDC OPFおよびLinDistFlowモデルにおける多面体制約に対して、効率的な射影計算が可能な計算幾何学ツールと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 近似動的計画法を用いて、非凸制約を伴う木構造最適化問題に対して、1回のパスで実行可能解を保証できるか？
• RQ2 計算の実行可能性を損なわずに、コスト情報を実行可能保証ADPスキームに統合する方法は何か？
• RQ3 提案手法は、実行可能カットや柔軟性集約に依存する既存の電力系統および最適制御分野の手法をどの程度一般化できるか？
• RQ4 内部近似と集合射影は、部分最適性バインドを維持しながら実行可能性を保証するために果たす役割は何か？
• RQ5 収束速度と実行可能性保証の観点から、提案ADPスキームは古典的分散最適化と比べてどのように異なるか？

主な発見

• 本稿で提案するADPスキームは、実行可能集合の内部近似を用いることで、非凸制約を伴う場合でも1回のバックワード・フォワードパスで解の実行可能性を保証する。
• DC最適潮流（DC OPF）では、多面体射影により正確な実行可能性が達成され、価値関数は区分的2次関数かつ非微分可能である。
• 本手法は、電力系統分野における既存の柔軟性集約技術を一般化し、形式的な実行可能性保証を備えた共通のADPフレームワークに統合する。
• 数値例は、非凸制約を伴う問題において有効性を示しており、反復的スキームと比較して計算負荷を低減しながらも実行可能性を維持している。
• 木構造最適化問題を共通のADP定式化に抽象化することで、電力系統分野と最適制御分野との間で手法の移行を可能にする。
• 理論的分析により、価値関数の定義域が、連合実行可能集合の射影に正確に一致することが確認され、階層全体にわたる一貫性が保証される。