[論文レビュー] Rate analysis of inexact dual first order methods: Application to distributed MPC for network systems

Ion Necoara, Valentin Nedelcu|arXiv (Cornell University)|Feb 13, 2013

Advanced Control Systems Optimization参考文献 27被引用数 8

ひとこと要約

本稿は、ネットワークシステムにおける分散モデル予測制御（MPC）のための、収束速度解析を伴う不正確な双対一次順序法を提案する。不正確な勾配と平均化を用いることで、双対劣最適性および原始可能性違反について、非線形収束レートを達成し、制約の厳密化によって原始可能性を保証するとともに、明示的な誤差バウンディングを提供する。

ABSTRACT

In this paper we propose and analyze two dual methods based on inexact gradient information and averaging that generate approximate primal solutions for smooth convex optimization problems. The complicating constraints are moved into the cost using the Lagrange multipliers. The dual problem is solved by inexact first order methods based on approximate gradients and we prove sublinear rate of convergence for these methods. In particular, we provide, for the first time, estimates on the primal feasibility violation and primal and dual suboptimality of the generated approximate primal and dual solutions. Moreover, we solve approximately the inner problems with a parallel coordinate descent algorithm and we show that it has linear convergence rate. In our analysis we rely on the Lipschitz property of the dual function and inexact dual gradients. Further, we apply these methods to distributed model predictive control for network systems. By tightening the complicating constraints we are also able to ensure the primal feasibility of the approximate solutions generated by the proposed algorithms. We obtain a distributed control strategy that has the following features: state and input constraints are satisfied, stability of the plant is guaranteed, whilst the number of iterations for the suboptimal solution can be precisely determined.

研究の動機と目的

• 大規模な凸最適化問題に対して、劣最適かつ原始可能な解を提供する不正確な双対一次順序法の開発。
• 既存の文献において、不正確な双対勾配スキームの収束速度解析が不足している問題に対処する。
• 制約が物理的制限および安全要件を表す分散MPC応用において、近似解の原始可能性を保証する。
• 双対劣最適性、原始可能性違反、勾配計算における不正確さの誤差について、明示的な推定値を提供する。
• 所定の許容誤差内での劣最適解を達成するために必要な反復回数を正確に特定できるようにする。

提案手法

• 複雑な制約をコスト関数に移動させるためにラグランジュ緩和を用い、元の問題を双対問題に変換する。
• ステップサイズが $[1/(2ꈁ1L), 1/(2L_d)]$ の範囲にある不正確な双対勾配アルゴリズム（IDG）を適用し、近似双対勾配 $\bar{\nabla}d(\lambda^k) = h(\bar{u}^k)$ を用いる。
• 双対変数の平均化 $\hat{\lambda}^k = \frac{1}{S^k}\sum_{j=0}^k \alpha^j \lambda^{j+1}$ を用い、$\hat{u}^k = \frac{1}{S^k}\sum_{j=0}^k \alpha^j \bar{u}^j$ により原始解を生成する。
• 双対関数のリプシッツ性と不正確さ誤差 $\epsilon_{\text{in}}$ のバウンディングを用いて収束を分析する。
• 内側の部分問題を、線形収束レートを示す並列座標降下法で解く。
• 近似解 $\hat{u}^k$ の原始可能性を保証するために制約の厳密化を実装する。

実験結果

リサーチクエスチョン

• RQ1 不正確な双対一次順序法の収束速度は、双対劣最適性および原始可能性違反の観点でどの程度保証できるか？
• RQ2 不正確な勾配計算は、双対法における収束挙動および誤差の蓄積にどのように影響するか？
• RQ3 分散MPCにおいて、不正確な双対勾配スキームによって生成された近似解について、原始可能性を保証できるか？
• RQ4 劣最適性および不可能性バウンディングが反復回数および不正確さパラメータ $\epsilon_{\text{in}}$ にどのように依存するか？
• RQ5 所望の解品質に達するための反復回数を正確に決定するにはどうすればよいか？

主な発見

• 双対劣最適性は $\|F^* - d(\hat{\lambda}^k)\| \leq \frac{\underline{L}R_d^2}{k+1} + \epsilon_{\text{in}}$ でバウンディングされ、$\mathcal{O}(1/k)$ の非線形収束レートを示す。
• 原始可能性違反は $\|[h(\hat{u}^k)]_+\| \leq \frac{4\underline{L}R_d}{k+1} + \frac{6\underline{L}\|\lambda^0\|}{k+1} + 2\sqrt{\frac{\underline{L}}{k+1}\epsilon_{\text{in}}}$ でバウンディングされ、$k$ が増加するにつれて可能性が保証される。
• 不正確さ誤差 $\epsilon_{\text{in}}$ は蓄積せず、線形ではなく $\sqrt{\epsilon_{\text{in}}}$ のスケーリングでバウンディングされるため。
• 内側の問題を近似的に解いても、制約の厳密化により近似解 $\hat{u}^k$ の原始可能性が保証される。
• 所定の許容誤差内での劣最適解を達成するために必要な反復回数は、収束バウンディングに基づいて正確に特定可能である。
• 内側の部分問題を解くために用いられる並列座標降下法は線形収束レートを示し、全体の効率性を向上させる。