[論文レビュー] A Parallel SGD method with Strong Convergence

Dhruv Mahajan, S. Sathiya Keerthi+2 more|arXiv (Cornell University)|Nov 4, 2013

Face and Expression Recognition参考文献 12被引用数 13

ひとこと要約

本論文は、各ノードで目的関数の局所的最適近似を用いることで、強いグローバル線形収束を達成する新しい並列確率的勾配降下法（SGD）を提案する。勾配の一貫性は傾き項によって強制される。この手法は、kdd2010 などの大規模・高次元データセットにおいて、既存の分散手法に比べて初期収束と一般化性能で優れる。

ABSTRACT

This paper proposes a novel parallel stochastic gradient descent (SGD) method that is obtained by applying parallel sets of SGD iterations (each set operating on one node using the data residing in it) for finding the direction in each iteration of a batch descent method. The method has strong convergence properties. Experiments on datasets with high dimensional feature spaces show the value of this method.

研究の動機と目的

• 既存の並列 SGD 手法が分散学習において局所的近似の不一致に起因する収束性の悪さと高い分散の問題を解決すること。
• 複数ノードにわたる効率的な並列計算を可能にしつつ、強い収束保証を維持する分散最適化手法を開発すること。
• 大規模な線形分類タスク、特に高次元特徴空間において、初期収束と一般化性能を向上させること。
• 分散学習環境における最適性能に到達するための通信回数を削減すること。

提案手法

• 各イテレーションで、現在の重み $ w^r $ におけるグローバル勾配 $ g^r $ を計算し、すべての $ P $ 個のノードに通信するバッチレベルの勾配降下フレームワークを採用する。
• 各ノード $ p $ は、グローバル目的関数 $ f(w) $ の局所的正確な近似 $ \hat{f}_p(w) $ を構築し、項 $ (g^r - \lambda w^r - \nabla L_p(w^r)) \cdot (w - w^r) $ を用いて $ w^r $ における勾配の一貫性を保証する。
• 各ノードは、$ w^r $ から開始して、局所的近似 $ \hat{f}_p $ に対して $ s $ エポック分の SGD を実行し、局所的降下方向 $ d_p $ を計算する。
• グローバル探索方向 $ d^r $ は、個々の $ d_p $ の凸結合として構成され、すべての $ d_p $ が降下方向であれば降下を保証する。
• Armijo-Wolfe 条件を満たすラインサーチを用いてステップサイズ $ t $ を決定し、目的関数における十分な減少と曲率を確保する。
• 本手法は信頼領域に類似したラインサーチを統合し、ノード間での集約に通信効率の高い AllReduce アーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 分散環境において計算効率を維持しつつ、強いグローバル線形収束を達成できる並列 SGD 手法を設計できるか？
• RQ2 グローバル目的関数の局所的近似をどのように構築すれば、ノード間で勾配の一貫性と降下方向の有効性を保証できるか？
• RQ3 局所的 SGD エポック数 $ s $ が、本手法の収束速度と通信効率に与える影響は何か？
• RQ4 SQM や Hybrid といった最先端の分散手法と比較して、本手法の収束速度と一般化性能はどのように異なるか？
• RQ5 深層学習のような非凸なグローバル目的関数において、本手法はどのような条件下で強い収束性を維持できるか？

主な発見

• 提案手法はグローバル線形収束（glrc）を達成し、目的関数ギャップ $ (f - f^*) $ の予測可能で速やかな減少を保証する。
• 841万例の kdd2010 データセットにおいて、同じ目的関数の精度に到達するまでに、SQM や Hybrid よりもはるかに少ない通信回数を要した。
• 特に初期学習段階において、AUPRC で測定した安定した一般化性能に、SQM や Hybrid よりもはるかに早く到達した。
• ノード数を 25 から 100 に増加させた際、$ \hat{f}_p $ の近似品質が低下したため、提案手法と SQM/Hybrid 間の性能差が縮まった。
• 局所的 SGD エポック数 $ s $ に敏感であり、最適な $ s $ は局所的最適化とグローバル収束速度のバランスを取る。
• 高次元データと通信予算が限られた状況において、目的関数の低減と AUPRC の両面で、SQM や Hybrid を上回った。