[論文レビュー] Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization

Yujie Tang, Junshan Zhang+1 more|arXiv (Cornell University)|Aug 29, 2019

Distributed Control Multi-Agent Systems参考文献 43被引用数 7

ひとこと要約

本稿では、非凸なマルチエージェント最適化のための2つの分散ゼロオーダー手法を提案する。1つは2点勾配推定器を用いた分散勾配降下法（DGD）であり、もう1つは勾配追跡を用いた2d点推定器である。主な貢献は、非凸で滑らかで勾配優位な設定下で、先行手法よりも高速な収束速度を確立したことである。具体的には、2点法では $ O(d/m) $、2d点法では $ O\big((1 - c(1-\rho^2)^2(\frac{\mu}{L})^{4/3})^{m/d}\big) $ の収束速度を示し、従来の分散ゼロオーダー手法を上回ることを示した。

ABSTRACT

Distributed multi-agent optimization finds many applications in distributed learning, control, estimation, etc. Most existing algorithms assume knowledge of first-order information of the objective and have been analyzed for convex problems. However, there are situations where the objective is nonconvex, and one can only evaluate the function values at finitely many points. In this paper we consider derivative-free distributed algorithms for nonconvex multi-agent optimization, based on recent progress in zero-order optimization. We develop two algorithms for different settings, provide detailed analysis of their convergence behavior, and compare them with existing centralized zero-order algorithms and gradient-based distributed algorithms.

研究の動機と目的

• 勾配情報が利用できない環境下で、関数値クエリのみに依存して非凸なマルチエージェント最適化を扱うこと。
• 既存手法よりも高速な収束を達成する分散ゼロオーダー手法を設計すること。
• 滑らかで勾配優位な目的関数下での収束速度を分析し、分散ゼロオーダー最適化に対する理論的保証を確立すること。
• 高次元スケーラビリティと収束速度のトレードオフを、分散ゼロオーダー手法において比較すること。
• 非凸問題においても、ゼロオーダー推定と勾配追跡を組み合わせることで、標準的なDGDを上回る収束性能を示すこと。

提案手法

• 2点勾配推定器を用いた分散勾配降下法（DGD）に基づくアルゴリズム1を提案し、各イテレーションで関数評価を2回のみ必要とする。
• 2d点勾配推定器と勾配追跡を組み合わせたアルゴリズム2を導入し、収束速度の向上を図る。
• 各エージェントが勾配追跡によりグローバル勾配の局所的推定値を維持する、コンSENSUSに基づく更新ルールを採用する。
• $ z^i(t) \sim \mathcal{U}(\mathbb{S}_{d-1}) $ を用いた確率的勾配推定器 $ \tilde{g}^i(t) = \frac{1}{2u} \big( f^i(x^i(t-1) + u z^i(t)) - f^i(x^i(t-1) - u z^i(t)) \big) $ を使用する。
• ネットワークの接続性 $ \rho $ に依存するステップサイズルールを適用し、収束を保証する。このルールは、ラージメトロポリス行列から導出される。
• 2点推定器の分散を分析し、$ u \to 0 $ であっても $ (d-1)\|\nabla f(x)\|^2 $ で有界であることを示し、収束に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 分散ゼロオーダー最適化は、1次オーダー法や先行ゼロオーダー手法と比較して、非凸設定下でもより高速な収束を達成できるか？
• RQ2 2点法と2d点法の勾配推定の選択が、高次元問題における収束速度とスケーラビリティに与える影響は何か？
• RQ3 非凸目的関数に対する分散ゼロオーダー最適化において、勾配追跡の影響は何か？
• RQ4 ネットワークの接続性 $ \rho $ は、分散ゼロオーダーアルゴリズムにおける収束速度とステップサイズ選択にどのように影響するか？
• RQ5 ゼロオーダー手法の収束速度は、分散非凸最適化において1次オーダー手法に達するか、あるいはそれに近づけるか？

主な発見

• 2点勾配推定を用いたアルゴリズム1は、滑らかな非凸目的関数に対して $ O\big(\sqrt{\frac{d}{m}} \log m\big) $ の収束速度を達成する。ここで $ m $ は関数クエリ回数を表す。
• 2d点推定と勾配追跡を組み合わせたアルゴリズム2は、より高速な収束速度 $ O\big(\big[1 - c(1 - \rho^2)^2(\frac{\mu}{L})^{4/3}\big]^{m/d}\big) $ を達成し、漸近的収束が向上していることが示された。
• 2d点法の収束速度は $ \mu/L $ に依存するが、勾配追跡の精密な分析のおかげで、従来の凸手法よりも良好な依存関係を示している。
• 2点法は1イテレーションあたりの関数評価が2回のみであるため、高次元に向けたスケーラビリティに優れているが、収束は遅い。
• 2d点法は漸近的により速く収束するが、1イテレーションあたりのコストが高いため、低次元問題に適している。
• 理論的分析により、2点推定器の分散は定常点で消えないことが示され、勾配追跡が用いられない限り、収束速度が制限されることを示した。