[論文レビュー] On Consensus-Optimality Trade-offs in Collaborative Deep Learning

Zhanhong Jiang, Aditya Balu+2 more|arXiv (Cornell University)|May 30, 2018

Distributed Control Multi-Agent Systems参考文献 23被引用数 5

ひとこと要約

本稿では、通信制約下の分散システムにおいて、団結性と最適性を明示的にバランスさせる2つの新しいアルゴリズム、i-CDSGD と g-CDSGD を提案する。複数回の団結ステップや調整可能な団結パラメータを組み込むことで、収束速度が向上し、性能のばらつきが低減され、団結性が向上する——特にデータの不均衡が生じる状況でも同様の結果が得られ、最先端の精度に匹敵する。

ABSTRACT

In distributed machine learning, where agents collaboratively learn from diverse private data sets, there is a fundamental tension between consensus and optimality. In this paper, we build on recent algorithmic progresses in distributed deep learning to explore various consensus-optimality trade-offs over a fixed communication topology. First, we propose the incremental consensus-based distributed SGD (i-CDSGD) algorithm, which involves multiple consensus steps (where each agent communicates information with its neighbors) within each SGD iteration. Second, we propose the generalized consensus-based distributed SGD (g-CDSGD) algorithm that enables us to navigate the full spectrum from complete consensus (all agents agree) to complete disagreement (each agent converges to individual model parameters). We analytically establish convergence of the proposed algorithms for strongly convex and nonconvex objective functions; we also analyze the momentum variants of the algorithms for the strongly convex case. We support our algorithms via numerical experiments, and demonstrate significant improvements over existing methods for collaborative deep learning.

研究の動機と目的

• 通信制約下の分散ディープラーニングにおける、団結性（エージェント間の合意）と最適性（グローバル最適解への収束）の根本的トレードオフを解消すること。
• FedAvg や CDSGD といった従来手法が、団結性を犠牲にしたり、高いばらつきや一般化誤差に苦しんだりするという限界を克服すること。
• 特にデータの不均衡が生じる状況においても、団結性と最適性のトレードオフを調整可能な制御が可能なアルゴリズムを設計すること。
• 強い凸および非凸の目的関数に対して、両アルゴリズムの収束を理論的に確立すること、さらにモーメンタム変種を含む。
• 実験的に、提案手法が、団結性、安定性、一般化性能において、最先端技術を上回ることを示すこと——特にデータの不均衡が生じる状況で顕著である。

提案手法

• i-CDSGD を提案し、各SGDイテレーション内で隣接エージェントとの通信を伴う複数回の団結ステップを実行することで、エージェント間の合意を強化する。
• g-CDSGD を導入し、団結性と個別最適性のバランスを制御可能なパラメータ ω を用いる一般化されたフレームワークを提供する。
• 両アルゴリズムにモーメンタムを統合し、収束を加速させるとともに、性能のオscillation（揺らぎ）を低減する。
• 理論的分析により、強い凸および非凸の目的関数において両アルゴリズムの収束を証明し、団結性と最適性の明確な境界を示す。
• 理論的取り扱いの容易さを確保するため、二重確率的通信行列と固定されたネットワークトポロジーを用いてエージェント間の相互作用をモデル化する。
• Keras/TensorFlow を用いてアルゴリズムを実装し、バランスおよび非バランスなデータ分割における5エージェントのスパarsなネットワークを用いてCIFAR-10で評価する。

実験結果

リサーチクエスチョン

• RQ1 各SGDイテレーション内で複数回の団結ステップを実行することで、モデルの最適性を損なわせることなく、団結性を向上させることができるか？
• RQ2 g-CDSGDにおける調整可能な団結パラメータ ω は、分散ディープラーニングにおける団結性と最適性のトレードオフにどのように影響するか？
• RQ3 提案手法は、FedAvg や CDSGD と比較して、性能のばらつきと一般化誤差をどの程度低減するか？
• RQ4 データの不均衡はエージェント間の団結性にどのような影響を及ぼし、提案手法はその問題を緩和できるか？
• RQ5 モーメンタムを統合した i-CDSGD および g-CDSGD は、凸および非凸の損失関数において、どのような収束特性を示すか？

主な発見

• i-CDMSGD は、CDSGD と同等のグローバルな精度を達成するが、エポックごとの性能のばらつきが著しく低減されている。
• g-CDMSGD は、最先端の手法と同等のテスト精度を達成するが、訓練誤差とテスト誤差の差（一般化ギャップ）が小さい。
• 非バランスなデータに対して、i-CDMSGD および g-CDMSGD は CDSGD よりも優れた団結性を示し、最高と最低のエージェント間の精度差が最大50％まで縮小された。
• g-CDMSGD における低い ω 値は、さらなる団結性の向上をもたらすが、収束速度の低下を伴うため、調整可能なトレードオフの存在を示している。
• 両アルゴリズムのモーメンタム変種（i-CDMSGD および g-CDMSGD）は、最小限の揺らぎで安定した収束を示し、非モーメンタムベースラインを上回った。
• 実験結果は理論的収束境界を確認しており、ステップサイズ α およびスぺクトルギャップ (1−λ₂) に従って、団結性と最適性の境界が予測可能にスケーリングされている。