[論文レビュー] A Decentralized Proximal Point-type Method for Saddle Point Problems

Weijie Liu, Aryan Mokhtari+4 more|arXiv (Cornell University)|Oct 31, 2019

Advanced Optimization Algorithms Research参考文献 54被引用数 15

ひとこと要約

本稿では、ネットワーク環境下で各ノードがグローバル目的関数の局所的成分を保持する非凸非凹なミニマックス問題を解くための分散型プロキシマルポイント型アルゴリズム（DPPSP）を提案する。本手法は、ρ-弱凸-弱凹またはミンティの変分不等式条件のもとで、近似停留性へのO(1/√T)収束率を達成する。これは、分散型非凸非凹ミニマックス問題に対する理論的保証として初めての成果である。

ABSTRACT

In this paper, we focus on solving a class of constrained non-convex non-concave saddle point problems in a decentralized manner by a group of nodes in a network. Specifically, we assume that each node has access to a summand of a global objective function and nodes are allowed to exchange information only with their neighboring nodes. We propose a decentralized variant of the proximal point method for solving this problem. We show that when the objective function is $ρ$-weakly convex-weakly concave the iterates converge to approximate stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$ where the approximation error depends linearly on $\sqrtρ$. We further show that when the objective function satisfies the Minty VI condition (which generalizes the convex-concave case) we obtain convergence to stationarity with a rate of $\mathcal{O}(1/\sqrt{T})$. To the best of our knowledge, our proposed method is the first decentralized algorithm with theoretical guarantees for solving a non-convex non-concave decentralized saddle point problem. Our numerical results for training a general adversarial network (GAN) in a decentralized manner match our theoretical guarantees.

研究の動機と目的

• グローバル目的関数の各ノードが局所的成分を保持する制約付き非凸非凹ミニマックス問題を解く分散型アルゴリズムの開発。
• ρ-弱凸-弱凹やミンティの変分不等式条件といった弱凸性・凹性仮定のもとで、1次停留点への収束を保証すること。
• グローバルな調整なしに隣接ノード間でのみローカル通信を行う完全分散型設定において、理論的収束保証を維持すること。
• 生成的対立的ネットワーク（GAN）の分散学習において、数値的に手法を検証し、理論的予測と一致すること。

提案手法

• 各ノードがローカル情報と一貫性制約に基づいて、プライマル変数（x, y）とデュアル変数（q）を交互に更新する分散型プロキシマルポイント法（DPPSP）を提案する。
• 非凸非凹な設定でも反復を安定化し収束を保証するために、増強ラグランジュ式にプロキシマル正則化項を導入する。
• 各ノードが隣接ノードとのみ通信することで、ネットワーク全体で局所変数が等しくなるように強制する、一貫性に基づくADMMに類似た更新スキームを採用する。
• 変分不等式解析を用いて収束を導出し、反復が1次最適性条件に関連する単調作用素条件を満たすことを示す。
• 勾配類似残留項と一貫性違反の期待ノルムを抑えられるように、ランダムな反復選択戦略を導入する。
• プロキシマルポイント法の構造を活用し、プライマル変数とデュアル変数の積空間におけるリャプノフ関数を用いて収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 分散型アルゴリズムは、非凸非凹ミニマックス問題に対して1次停留点への収束を達成できるか？
• RQ2 ρ-弱凸-弱凹やミンティVI条件といった弱凸性・凹性仮定のもとで、保証可能な収束率は何か？
• RQ3 グローバルな調整なしに隣接ノード間でのみローカル通信を行う完全分散型ネットワークでも、理論的収束保証を維持できるか？
• RQ4 大規模な機械学習タスク、特に分散型GAN学習において、このアルゴリズムは実際どのように動作するか？

主な発見

• DPPSPアルゴリズムは、ρ-弱凸-弱凹問題に対して、近似停留性へのO(1/√T)収束率を達成し、近似誤差は√ρに線形に依存する。
• ミンティの変分不等式条件のもとでも、本手法は依然としてO(1/√T)の収束率を達成し、凸-凹な領域を超えた結果を拡張する。
• 一貫性違反の期待ノルム∥Uz^s∥²はO(1/T)で有界であり、ノード間の局所変数が共通の値に収束することを保証する。
• 勾配類似残留項の期待ノルム∥∑ₙ(Bₙ(zₙ^{s+1}) + Rₙ(zₙ^{s+1}))∥²はO(1/T)で有界であり、停留性への収束を示す。
• GANの分散学習における数値実験では、アルゴリズムが理論的収束率と一致しており、手法の実用的有効性を検証した。
• 著者らの知る限り、DPPSPは非凸非凹ミニマックス問題に対する理論的収束保証を備えた最初の分散型アルゴリズムである。