[論文レビュー] Distributed Regularized Primal-Dual Method: Convergence Analysis and Trade-offs

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|Sep 27, 2016

Distributed Control Multi-Agent Systems参考文献 17被引用数 15

ひとこと要約

本稿では、グローバルな不等式制約を伴う凸最適化のための分散型正則化プライマル・デュアル法を提案する。ラグランジュ乗数のノルムを制御し、部分勾配の成長を抑えるために、ラグランジュ乗数に二次正則化を施す。主な貢献は、決定的および確率的バージョンの両方において、収束速度と制約違反の減少速度の間の理論的トレードオフを示したことであり、明示的な収束速度が得られている。

ABSTRACT

We study deterministic and stochastic primal-dual sub-gradient algorithms for distributed optimization of a separable objective function with global inequality constraints. In both algorithms, the norm of the Lagrangian multipliers are controlled by augmenting the corresponding Lagrangian function with a quadratic regularization term. Specifically, we show that when the stepsize of each algorithm satisfies a certain restriction, the norm of the Lagrangian multipliers is upper bounded by an expression that is inversely proportional to the parameter of the regularization. We use this result to compute upper bounds on the sub-gradients of the Lagrangian function. For the deterministic algorithm, we prove a convergence rate for attaining the optimal objective value. In the stochastic optimization case, we similarly prove convergence rates both in the expectation and with a high probability, using the method of bounded martingale difference. For both algorithms, we demonstrate a trade-off between the convergence rate and the decay rate of the constraint violation, in the sense that improving the convergence rate slows the decay rate of the constraint violation and vice versa. We demonstrate the convergence of our proposed algorithms numerically for distributed regression with the hinge and logistic loss functions over different graph structures.

研究の動機と目的

• 大規模かつネットワーク化されたシステムに適した、グローバルな不等式制約を伴う分散型プライマル・デュアルアルゴリズムの開発。
• 従来の手法でラグランジュ乗数を単体上に射影する計算負荷を軽減するため、二次正則化を導入すること。
• リプシッツ連続性の仮定の下で、アルゴリズムの決定的および確率的バージョンの収束速度の確立。
• 特に束縛的（binding）な制約と厳密に実行可能（strictly feasible）な制約の下での、収束速度と制約違反の減少速度のトレードオフの分析。
• さまざまなグラフ構造におけるヒンジ損失およびロジスティック損失を用いた分散回帰の数値実験を通じて、手法の有効性を実証すること。

提案手法

• ラグランジュ関数に、双対変数（ラグランジュ乗数）に対する二次ペナルティ項を導入することで、そのノルムが正則化パラメータの逆数に比例して有界になるようにする。
• 各エージェントは、実行可能集合を含むユークリッド球への射影によりプライマル変数を更新し、閉形式解が得られるため、計算が効率的に行える。
• 正則化ラグランジュ関数の部分勾配を用いて双対変数を更新し、有界性と収束を保証するステップサイズルールを採用する。
• 確率的バージョンでは、各反復で各エージェントが制約の部分勾配を1つだけ計算するため、決定的バージョンに比べて1反復あたりのコストが低減される。
• 収束解析は、正則化された双対変数のノルムによる部分勾配ノルムのバインドに依拠し、期待値および高確率での収束速度の導出が可能になる。
• 確率的設定における高確率収束の証明には、有界マルティングル・ディファレンス法を用いる。

実験結果

リサーチクエスチョン

• RQ1 分散型プライマル・デュアル法において、ラグランジュ乗数のノルムをどのように制御すれば収束性と安定性を確保できるか？
• RQ2 最適な目的関数値への収束速度と制約違反の減少速度の間には、どのようなトレードオフがあるか？
• RQ3 各ステップですべての制約の部分勾配を計算する必要を回避できる分散型確率的プライマル・デュアルアルゴリズムを設計できるか？
• RQ4 最適解において制約が束縛的（binding）であるか、厳密に実行可能であるかによって、収束と制約違反のトレードオフは変化するか？
• RQ5 リプシッツ連続性の仮定の下で、決定的および確率的バージョンの両方で保証できる収束速度は何か？

主な発見

• ラグランジュ乗数のノルムは、正則化パラメータの逆数に比例する式によって上界で抑えられ、部分勾配ノルムの制御が可能になる。
• 決定的アルゴリズムでは、最適な目的関数値に到達する収束速度が O(1/T) であることが証明されている。ここで T は反復回数である。
• 確率的ケースでは、有界マルティングル・ディファレンス法を用いて、期待値での収束速度が O(1/T)、高確率での収束速度が O(log T / T) であることが確立された。
• 収束速度と制約違反の減少速度の間には根本的なトレードオフが存在する。1つを改善すると、もう片方が劣化する傾向にあり、特に最適解で制約が束縛的（binding）である場合に顕著である。
• 制約が最適点で厳密に実行可能である場合には、このトレードオフが消失し、収束挙動に構造的な違いが生じることが示された。
• 数値結果により、さまざまなグラフ構造におけるヒンジ損失およびロジスティック損失を用いた分散回帰において収束が確認され、理論的予測が妥当であることが検証された。