[論文レビュー] Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization

Zhan Yu, Daniel W. C. Ho+1 more|arXiv (Cornell University)|Mar 11, 2019

Distributed Control Multi-Agent Systems参考文献 20被引用数 9

ひとこと要約

本稿では、Bregman発散と分散型逆数加重平均を用いて、多エージェントネットワークにおける制約付き凸最適化のための分散型ランダム化勾配フリー・ミラー降下（DRGFMD）アルゴリズムを提案する。凸問題ではO(1/√T)、強く凸な場合ではO(ln T / T)の収束速度を達成し、勾配や部分勾配情報が不要であるにもかかわらず、既知の最良のレートと一致する。

ABSTRACT

This paper is concerned with multi-agent optimization problem. A distributed randomized gradient-free mirror descent (DRGFMD) method is developed by introducing a randomized gradient-free oracle in the mirror descent scheme where the non-Euclidean Bregman divergence is used. The classical gradient descent method is generalized without using subgradient information of objective functions. The proposed algorithm is the first distributed non-Euclidean zeroth-order method which achieves an $O(1/\sqrt{T})$ convergence rate, recovering the best known optimal rate of distributed compact constrained convex optimization. Also, the DRGFMD algorithm achieves an $O(\ln T/T)$ convergence rate for the strongly convex constrained optimization case. The rate matches the best known non-compact constraint result. Moreover, a decentralized reciprocal weighted average approximating sequence is investigated and first used in distributed algorithm. A class of convergence rates are also achieved for the algorithm with weighted averaging (DRGFMD-WA). The technique on constructing the decentralized weighted average sequence provides new insight in searching for minimizers in distributed algorithms.

研究の動機と目的

• 多エージェントシステムにおける制約付き最適化のための分散型非ユークリッド的ゼロ次最適化手法の不足に応える。
• 部分勾配や勾配情報が不要であるにもかかわらず、収束保証を維持する勾配フリーのアルゴリズムを開発する。
• 分散環境における収束特性を向上させるために、分散型逆数加重平均列を導入する。
• 最小限の仮定のもとで、凸および強く凸な制約付き最適化問題に対して最適な収束レートを達成する。
• 収束性、一貫性、次元数およびステップサイズ選択へのロバストネスの理論的分析とシミュレーションによる検証を提供する。

提案手法

• 非ユークリッド幾何におけるBregman発散を用いて、ランダム化勾配フリー・オракルをミラー降下フレームワークに統合する。
• エージェント間の収束性と安定性を向上させるために、分散型逆数加重平均近似列を構築する。
• 時間変動する有向ネットワークにおいて収束を保証するため、αₜ = 1/(t+1)ᵅ（α ∈ (0, 1/2]）の減少ステップサイズ則を用いる。
• Bregman発散を用いたミラー降下により、部分勾配へのアクセスが不要な非ユークリッド空間への古典的勾配降下の一般化を実現する。
• 確率的および最適化的手法を用いて、エージェント間の期待される不一致と収束速度の理論的バウンディングを確立する。
• 標準的な目的関数の仮定のもとで、コンact凸集合および閉凸集合の両方の制約集合に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 勾配や部分勾配情報が不要であるにもかかわらず、最適な収束速度を維持する分散型ゼロ次最適化アルゴリズムを開発可能か？
• RQ2 ランダム化勾配フリー・オーガルを用いた非ユークリッド的Bregmanフレームワークにおける分散型ミラー降下アルゴリズムの収束速度は何か？
• RQ3 分散型逆数加重平均列の導入が、分散最適化における収束性および一貫性に与える影響は何か？
• RQ4 提案されたアルゴリズムは、勾配アクセスがなくても、凸および強く凸な制約付き問題に対して、既知の最良の収束速度を達成可能か？
• RQ5 意思決定空間の次元数およびステップサイズ選択は、分散環境における収束速度と精度にどのように影響するか？

主な発見

• DRGFMDアルゴリズムは、凸制約付き最適化においてO(1/√T)の収束速度を達成し、分散コンパクト制約設定における既知の最良のレートと一致する。
• 強く凸な問題では、O(ln T / T)の収束速度を達成し、非コンパクト制約条件下での既知の最良の結果と一致する。
• 提案された分散型逆数加重平均列は収束特性を改善し、改善された収束速度クラスを可能にする。
• シミュレーションにより、次元数nの増加に伴い収束速度が低下することが確認され、理論的予測と整合的である。
• DRGFMD-WAバージョンは、従来の分散勾配フリー射影法（DGFP）を上回り、精度は約10⁻²（DGFPは10⁻¹）を達成する。
• 小さなステップサイズ指数δ（例：0.3）は、大きなδ値（例：0.5）よりも著しく収束が遅く、δ = 0.3とδ = 0.4の間で顕著な差が観察される。