[論文レビュー] Distributed Saddle-Point Problems Under Similarity

Aleksandr Beznosikov, Gesualdo Scutari+2 more|arXiv (Cornell University)|Jul 22, 2021

Stochastic Gradient Optimization Techniques参考文献 42被引用数 11

ひとこと要約

本稿は、関数類似性の下で（強く）凸（強く）凹なサドルポイント問題を解くための通信効率の良い分散アルゴリズムを提案する。ノード間の局所関数が統計的または構造的に類似している場合を想定する。類似度パラメータδに比例して良好にスケーリングする通信複雑度のタイトな下界を確立し、これらの下界に対数要因を除いて一致するアルゴリズムを提案する。特に、ロバスト回帰のような悪条件問題において、類似性を無視する手法に比べて著しく効率が向上する。

ABSTRACT

We study solution methods for (strongly-)convex-(strongly)-concave Saddle-Point Problems (SPPs) over networks of two type - master/workers (thus centralized) architectures and meshed (thus decentralized) networks. The local functions at each node are assumed to be similar, due to statistical data similarity or otherwise. We establish lower complexity bounds for a fairly general class of algorithms solving the SPP. We show that a given suboptimality $ε>0$ is achieved over master/workers networks in $Ω\big(Δ\cdot δ/μ\cdot \log (1/\varepsilon)\big)$ rounds of communications, where $δ>0$ measures the degree of similarity of the local functions, $μ$ is their strong convexity constant, and $Δ$ is the diameter of the network. The lower communication complexity bound over meshed networks reads $Ω\big(1/{\sqrtρ} \cdot δ/μ\cdot\log (1/\varepsilon)\big)$, where $ρ$ is the (normalized) eigengap of the gossip matrix used for the communication between neighbouring nodes. We then propose algorithms matching the lower bounds over either types of networks (up to log-factors). We assess the effectiveness of the proposed algorithms on a robust logistic regression problem.

研究の動機と目的

• 分散サドルポイント問題（SPP）において関数類似性を活用する理論的・アルゴリズム的フレームワークの欠如に取り組むこと、特に分散型およびマスターワーカー型ネットワークにおいて。
• 局所関数が類似している場合のSPPを解くための通信複雑度のタイトな下界を、パラメータδで測定して確立すること。
• マスターワーカー型およびメッシュ型ネットワークアーキテクチャの両方に対して、導出された下界に対数要因を除いて一致する、証明可能な最適性を持つアルゴリズムを設計すること。
• 実世界の問題、例えば分散ロバスト回帰において、類似性に配慮した設計の実用的利点を示すこと。
• 類似性が通信コストを標準的なSPPソルバーよりも低減させることを理論的に示す基盤を提供すること。

提案手法

• 局所関数のヘッセ行列または勾配ノルムの差がδ未満であるδ関連SPPを定義し、ノード間のデータにおける統計的類似性を捉える。
• マスターワーカー型ネットワークにおける通信複雑度の下界を導出：Ω(Δ·δ/μ·log(1/ε))、ここでΔはネットワーク径路、μは強い凸性パラメータ、εはターゲットの部分最適性である。
• メッシュ型ネットワークにおける下界を確立：Ω(1/√ρ · δ/μ · log(1/ε))、ここでρはギャッジ行列の正規化固有値ギャップである。
• 両方のネットワークタイプに対して、導出された下界に対数要因を除いて一致する新しい分散アルゴリズムを提案し、類似性に配慮したプリコンディショニングを用いる。
• 多くの学習問題においてδ ≪ L（リプシッツ定数）であることに着目し、局所的な類似性情報をアルゴリズムのオракルに統合することで、通信ラウンド数を削減する。
• 分散ロバストロジスティック回帰問題においてこのアプローチを検証し、ベースライン手法と比較して収束が速く、通信量が少ないことを示す。

実験結果

リサーチクエスチョン

• RQ1 局所関数が類似している（δ関連）場合に、分散SPPを解くための根本的な通信複雑度の下界は何か？
• RQ2 関数類似性（δで測定）は、類似性を無視する標準的手法と比較して、分散SPPソルバーの通信効率にどのように影響するか？
• RQ3 マスターワーカー型およびメッシュ型ネットワークの両方において、導出された下界に一致する通信複雑度を達成する分散アルゴリズムを設計できるか？
• RQ4 類似性に配慮したプリコンディショニングは、ロバスト回帰のような悪条件問題における収束をどの程度改善するか？
• RQ5 異なるネットワークトポロジーにおいて、δ、μ、Δ、ρといった主要パラメータのスケーリングは、通信複雑度の境界にどのように影響するか？

主な発見

• マスターワーカー型ネットワークの通信複雑度の下界はΩ(Δ·δ/μ·log(1/ε))であり、L/μではなくδ/μに有益な依存関係を示している。
• メッシュ型ネットワークでは下界がΩ(1/√ρ · δ/μ · log(1/ε))であり、δ/μ ≪ L/μの場合に、L/μに比例する従来の境界よりも改善されている。
• 提案されたアルゴリズムは、導出された下界に対数要因を除いて一致しており、通信効率の観点から最適性が証明されている。
• ロバスト回帰の実験では、類似性に配慮したアルゴリズムは、標準的な分散SPPソルバーと比較してより速く収束し、通信ラウンド数が少ない。
• 改善効果は、δ/μが小さくL/μが大きな悪条件問題において特に顕著であり、標準的手法が実用的でない状況で顕著に現れる。
• 分析により、類似性を活用することで、分散環境でさえも収束保証を損なわずに通信コストを削減可能であることが示された。