[論文レビュー] Proportional-Integral Projected Gradient Method for Conic Optimization

Yue Yu, Purnanand Elango+2 more|arXiv (Cornell University)|Aug 23, 2021

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、錐計画問題に対する新しいプライマル・デュアル1次元アルゴリズムである比例積分投影勾配（PIPG）法を提案する。この手法は、プライマル・デュアルギャップと制約違反の両方がO(1/k)収束を達成し、強い凸性のもとではそれぞれO(1/k²)およびO(1/k³)の収束レートを達成する。2次情報を利用しないまま、既存の1次元手法よりも制約違反の収束を加速する点で優れている。

ABSTRACT

Conic optimization is the minimization of a differentiable convex objective function subject to conic constraints. We propose a novel primal-dual first-order method for conic optimization, named proportional-integral projected gradient method (PIPG). PIPG ensures that both the primal-dual gap and the constraint violation converge to zero at the rate of \(O(1/k)\), where \(k\) is the number of iterations. If the objective function is strongly convex, PIPG improves the convergence rate of the primal-dual gap to \(O(1/k^2)\). Further, unlike any existing first-order methods, PIPG also improves the convergence rate of the constraint violation to \(O(1/k^3)\). We demonstrate the application of PIPG in constrained optimal control problems.

研究の動機と目的

• プライマル・デュアルギャップと制約違反の両方が、向上したレートでゼロに収束する1次元手法を構築すること。
• 既存の1次元手法の限界、すなわち強い凸性のもとでも制約違反の収束を加速できないという点を是正すること。
• 反復ごとの計算コストを低く保ちつつ、妥当性と最適性の両方の収束を高速化する手法を設計すること。
• 数値的妥当性の検証を通じて、制約付き最適制御問題への有効性を示すこと。

提案手法

• PIPGは、制御理論にインspiredされた比例および積分フィードバック項をデュアル更新に組み込んだ投影勾配フレームワークを採用しており、収束の安定化と加速を図る。
• 反復ごとに、プライマル集合Dへの1回の射影と、デュアル錐Kまたはその極K°への1回の射影を実行することで、計算コストを低く保つ。
• 過去の制約違反を蓄積する動的補正項をデュアル変数の更新に統合し、制約違反の収束を高速化する。
• この手法は、錐計画問題のサドルポイント定式化に基づいて導出されており、元の問題と同等であることを保証する。
• 収束解析は、リャプノフ関数とエネルギー減少の議論を用いて行われ、提示された収束レートを確立する。
• 最適制御問題は、第二順序錐および回転第二順序錐制約を有する錐計画問題に再定式化されることで、PIPGに適用可能になる。

実験結果

リサーチクエスチョン

• RQ1 錐計画問題において、制約違反の収束レートをO(1/k)を超えて加速できる1次元手法を設計できるか？
• RQ2 デュアル更新に積分作用を組み込むことで、反復ごとの計算コストを増加させずに収束を改善できるか？
• RQ3 強い凸性のもとで、プライマル・デュアルギャップがO(1/k²)、制約違反がO(1/k³)の収束を達成できるか？
• RQ4 ADMM、PIPGeq、PDHGと比較して、PIPGの収束速度と妥当性はどのように異なるか？
• RQ5 複雑な制約を有する現実世界の最適制御問題に、PIPGを効果的に適用できるか？

主な発見

• 一般の凸ケースにおいて、PIPGはプライマル・デュアルギャップと制約違反の両方でO(1/k)収束を達成し、ADMMやPIPGeqの最良レートと同等である。
• 強い凸性のもとでは、PIPGはプライマル・デュアルギャップの収束をO(1/k²)に改善し、PDHGの加速レートと一致する。
• 画期的な点として、強い凸性のもとでPIPGは制約違反の収束をO(1/k³)に達成し、これより速い既存の1次元手法は存在しない。
• 1回のDへの射影と1回のKまたはK°への射影のみで反復コストを低く保ち、スケーラビリティを確保する。
• 振動質量系とクアッドローター経路計画に関する数値実験により、PIPGの優れた収束特性と妥当性性能が示された。
• 最適制御問題をリフトと錐制約を用いて錐計画問題に変換することで、問題構造が保持され、PIPGによる効率的解法が可能になった。