[論文レビュー] Distributed Zero-Order Optimization under Adversarial Noise

Arya Akhavan, Massimiliano Pontil+1 more|arXiv (Cornell University)|Feb 1, 2021

Distributed Control Multi-Agent Systems参考文献 35被引用数 5

ひとこと要約

本稿では、強い凸関数をネットワーク設定下で最小化するための分散型ゼロオーダー射影勾配降下法を提案する。この設定では勾配が利用できないが、敵対的ノイズが加わった関数値のみが入手可能である。本手法は、従来の研究と比較して、ネットワーク接続性や次元数に依存する点で改善された収束速度を達成しており、最適性に近い性能を示す理論的境界が得られている。特に、時間と次元数の観点でほぼ最適な性能が示されている。

ABSTRACT

We study the problem of distributed zero-order optimization for a class of strongly convex functions. They are formed by the average of local objectives, associated to different nodes in a prescribed network of connections. We propose a distributed zero-order projected gradient descent algorithm to solve this problem. Exchange of information within the network is permitted only between neighbouring nodes. A key feature of the algorithm is that it can query only function values, subject to a general noise model, that does not require zero mean or independent errors. We derive upper bounds for the average cumulative regret and optimization error of the algorithm which highlight the role played by a network connectivity parameter, the number of variables, the noise level, the strong convexity parameter of the global objective and certain smoothness properties of the local objectives. When the bound is specified to the standard undistributed setting, we obtain an improvement over the state-of-the-art bounds, due to the novel gradient estimation procedure proposed here. We also comment on lower bounds and observe that the dependency over certain function parameters in the bound is nearly optimal.

研究の動機と目的

• 勾配が利用できない状況（関数値のみ、敵対的ノイズ付き）における分散最適化を扱う。
• 通信が局所的（隣接ノードのみ）に制限されたエージェントのネットワーク上で、局所的目的関数の平均を最小化するスケーラブルなアルゴリズムを開発する。
• 一般のノイズモデルのもとで、最適化誤差と累積的レグレットの両面においてタイトな収束レートを達成する。
• ネットワーク接続性や次元数に依存する点で、最新のゼロオーダー分散最適化手法を改善する。
• 既知の非分散設定における下界と比較して、ほぼ最適な理論的境界を確立する。

提案手法

• 関数値クエリのみを用いる分散型ゼロオーダー射影勾配降下法を提案し、更新は隣接ノードに制限する。
• 計算効率と収束速度の向上を実現する、新しいゼロオーダー勾配推定法を導入する。
• 誤差がゼロ平均でなくても、独立でなくてもよい一般のノイズモデルを採用し、関数評価における敵対的ノイズを許容する。
• 接続性を表すスペクトルギャップ $1 - \rho$ を持つネットワーク行列を用い、収束境界に組み込む。
• 反復点が実行可能領域内に留まるように、凸集合 $\Theta$ へのユークリッド射影を適用する。
• 集中性と安定性の議論を用いて、累積的レグレットと最適化誤差の理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 勾配のアクセスが不可能な状況下で、敵対的ノイズに強い分散型ゼロオーダー最適化アルゴリズムは、高速な収束を達成できるか？
• RQ2 ネットワーク接続性（$1 - \rho$ で測定）は、ゼロオーダー分散最適化の収束速度にどのように影響するか？
• RQ3 次元数 $d$ と強い凸性パラメータ $\alpha$ は、最適化誤差とレグレットにどのような影響を及けるか？
• RQ4 提案手法は、ゼロオーダー設定における既知の下界と比較して、ほぼ最適なレートを達成できるか？
• RQ5 新規のゼロオーダー勾配推定法は、従来の2点推定法と比較して、計算コストと誤差の両面で性能をどのように向上させるか？

主な発見

• 提案手法は、最適化誤差の境界 $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$ を達成し、従来手法と比較してネットワーク接続性パラメータ $1 - \rho$ に依存する点で改善されている。
• 累積的レグレットは $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$ で抑えられ、次元数とネットワーク構造の役割が明確に示された。
• 標準（非分散）設定下では、新規の勾配推定法のおかげで、従来のゼロオーダー手法に比べて計算コストが $O(d^2)$ 減少した。
• Akhhavanら [2020] が示した既知の下界と比較することで、$T$ と $\alpha$、あるいは $T$ と $d$ に関して理論的境界がほぼ最適であることが確認された。
• 数値実験により、特に高次元かつ関数評価回数が限られた状況下で、本手法が Akhavan ら [2020] の2点推定法を上回ることを確認した。
• ノイズモデルがゼロ平均や独立性を仮定しないため、実世界の応用に広く適用可能であることが、敵対的ノイズ下でも効果を示した。