[論文レビュー] Decentralized Markov Chain Gradient Descent

Tao Sun, Dongsheng Li|arXiv (Cornell University)|Sep 23, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、分散ネットワーク上での非凸確率的最適化のための、サンプル効率性および通信効率性に優れた分散型マルコフ連鎖勾配降下法（DMGD）を提案する。マルコフ連鎖サンプリングを用いて勾配を生成し、隣接ノード間での局所的平均化を実施することで、DMGDは、ネットワークの構造およびマルコフ連鎖の混合時間に依存する非定常および定常収束レートを達成する。理論的保証と実験的検証を通じて、サンプル効率性が裏付けられている。

ABSTRACT

Decentralized stochastic gradient method emerges as a promising solution for solving large-scale machine learning problems. This paper studies the decentralized Markov chain gradient descent (DMGD) algorithm - a variant of the decentralized stochastic gradient methods where the random samples are taken along the trajectory of a Markov chain. This setting is well-motivated when obtaining independent samples is costly or impossible, which excludes the use of the traditional stochastic gradient algorithms. Specifically, we consider the first- and zeroth-order versions of decentralized Markov chain gradient descent over a connected network, where each node only communicates with its neighbors about intermediate results. The nonergodic convergence and the ergodic convergence rate of the proposed algorithms have been rigorously established, and their critical dependences on the network topology and the mixing time of Markov chain have been highlighted. The numerical tests further validate the sample efficiency of our algorithm.

研究の動機と目的

• 独立同一分布（i.i.d.）サンプリングが不可能または高コストとなる分散機械学習環境において、複雑または未知の分布からのサンプリングの課題に対処すること。
• 中央集約センターを必要とせず、通信オーバーヘッドを低減する分散最適化アルゴリズムの開発。
• 独立サンプルの生成が高コストとなる状況において、代替としてマルコフ連鎖によって生成されたサンプルを用いることで、効率的な学習を可能にすること。
• 非凸設定下での非定常および定常反復に対する収束保証の確立。
• 収束レートがネットワーク接続性およびマルコフ連鎖の混合時間にどのように依存するかの強調。

提案手法

• 各ノードが独立同一分布（i.i.d.）サンプルの代わりにマルコフ連鎖の軌道に沿ってサンプルを生成する分散型マルコフ連鎖勾配降下（DMGD）アルゴリズムを提案する。
• 各ノードが隣接ノードとのみ通信することでパラメータを更新する、連結ネットワーク上での局所的平均化を用いる。
• 各ノードに定常分布が目的の分布と一致する時定常マルコフ連鎖を導入し、漸近的定常性を保証する。
• 非i.i.d.性を扱うために、新しいステップサイズルールと遅延勾配追跡メカニズムを導入する。
• マルコフ連鎖の混合時間およびネットワークの一致誤差の性質を用いて、勾配の期待ノルムをバウンディングすることで収束を確立する。
• マクロフ連鎖理論（例：全 Variation 距離のバウンディング）および分散最適化解析の理論的道具を適用し、収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.抽出ではなくマルコフ連鎖によってサンプルが生成される場合に、分散最適化アルゴリズムが収束を達成できるか。
• RQ2 マルコフ連鎖の混合時間が分散勾配降下の収束レートにどのように影響するか。
• RQ3 特に混合行列の2番目に大きな固有値に着目した場合、ネットワークトポロジーが分散マルコフ連鎖勾配降下の収束に与える影響は何か。
• RQ4 マルコフ連鎖の混合時間が長くても、各反復で連鎖を再生成する必要がなく、サンプル効率を維持できるか。
• RQ5 非定常および定常収束レートは、ネットワークサイズおよびマルコフ連鎖の特性に関してどのようにスケーリングされるか。

主な発見

• DMGDアルゴリズムは、ステップサイズルールに依存する $\mathcal{O}\left(\frac{1}{(k+1)^\theta}\right)$ の非定常収束レートを達成する。
• 定常収束レートは $\mathcal{O}\left(\frac{1}{\ln(1/\lambda(H)) \cdot (1 - \lambda_2(W)) \cdot (k+1)^\theta}\right)$ でバウンディングされ、ネットワーク接続性およびマルコフ連鎖の混合時間に明示的な依存関係を示す。
• 非i.i.d.性に起因するバイアスを収束解析が考慮しており、混合時間および連鎖の定常性によって誤差が制御されている。
• 各反復でマルコフ連鎖を再生成しないため、標準的な SGD-$T$ と比較して、著しくサンプル効率性が向上している。
• 数値結果により、DMGDのサンプル効率性が確認されており、特に混合時間が長いか、サンプリングアクセスが制限される状況で顕著である。
• 理論的バウンディングは、ネットワークトポロジー（$\lambda_2(W)$ を通じて）およびマルコフ連鎖の混合（$\lambda(H)$ を通じて）が収束速度に顕著に影響することを強調している。