[論文レビュー] Derivative-Free Method For Decentralized Distributed Non-Smooth Optimization

Aleksandr Beznosikov, Eduard Gorbunov+1 more|arXiv (Cornell University)|Nov 25, 2019

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、スライディング・アルゴリズムに基づく勾配情報を利用しない分散非滑らか最適化のための手法を提案し、1次元手法と比較して次元に依存する要因を除き、収束性および通信複雑度の境界を達成した。この手法は、次元に依存する要因を除き、最新のゼロ次オラクル複雑度を達成し、勾配情報が利用できない状況でも効率的な分散最適化を可能にする。

ABSTRACT

In this paper, we propose new derivative-free method which is based on the Sliding Algorithm from Lan (2016, 2019) for the convex composite optimization problem that includes two terms: smooth one and non-smooth one. We prove the convergence rate for the new method that matches the corresponding rate for the first-order method up to a factor proportional to the dimension of the space. We apply this method for the decentralized distributed optimization and prove the bounds for the number of communication rounds for this method that matches the lower bounds. We prove the bound for the number of zeroth-order oracle calls per node that matches the similar state-of-the-art bound for the first-order decentralized distributed optimization up to to the factor proportional to the dimension of the space.

研究の動機と目的

• 勾配情報が入手できない状況における分散非滑らか最適化の課題に取り組む。
• 微分情報が欠如しているにもかかわらず、1次元手法と同等の収束速度を維持するゼロ次手法を開発する。
• 分散最適化における既知の下界と一致する通信複雑度境界を達成する。
• 次元に依存する要因を除き、分散設定における最新のゼロ次オラクル複雑度を達成する。
• 滑らかでない成分を含む凸合成問題に適用可能であることを保証する。

提案手法

• 凸合成最適化のための勾配情報なし設定に、スライディング・アルゴリズム（Lan, 2016, 2019）を適応する。
• サブ勾配の推定にゼロ次オラクル呼び出しを用い、明示的な勾配計算を回避する。
• 最適化プロセス中にアクティブな成分を動的に選択するスライディングメカニズムを維持する。
• 収束を保証しつつ、ラウンド数を最小限に抑えるために分散ネットワークに特化した通信プロトコルを設計する。
• 問題の次元の影響を反映するために、収束および複雑度境界に次元依存スケーリング要因を統合する。
• 手法の収束速度が、空間の次元に比例する要因を除き、1次元手法と同等であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 勾配情報なしの手法は、分散非滑らか最適化において1次元手法と同等の収束速度を達成できるか？
• RQ2 ゼロ次分散アルゴリズムの通信複雑度は何か？ また、既知の下界と一致するか？
• RQ3 分散設定におけるゼロ次オラクル呼び出しの回数は、問題の次元にどのように依存するか？
• RQ4 スライディング・アルゴリズムは、分散システムにおけるゼロ次最適化に効果的に適応可能か？
• RQ5 変数空間の次元は、勾配情報なし分散手法の性能にどの程度影響を及ぼすか？

主な発見

• 提案手法は、変数空間の次元に比例する要因を除き、最新の1次元手法と同等の収束速度を達成する。
• 本手法が要請する通信ラウンド数は、分散分散最適化における既知の下界と一致する。
• 本手法のゼロ次オラクル複雑度は、再び次元に依存する要因を除き、1次元分散最適化における最新の境界と一致する。
• 滑らかでない項を含む凸合成問題に対しても、勾配情報が利用できない状況でも本手法は有効である。
• 理論的境界は次元依存性においてタイトであり、通信およびオラクル使用の観点から、本手法はほぼ最適であることを示している。
• 解析により、勾配情報なし手法において、最悪ケースでは次元に依存する要因を回避できないことが確認され、このような設定における根本的なトレードオフを強調している。