[論文レビュー] Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data

Sai Aparna Aketi, Abolfazl Hashemi+1 more|arXiv (Cornell University)|May 8, 2023

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

本稿では、通信コストを増加させることなく、非同一分布（heterogeneous）なデータによって引き起こされる性能劣化を軽減する、新しい分散型学習アルゴリズムであるグローバルアップデートトラッキング（GUT）を提案する。勾配ではなくモデルパラメータの更新をトラッキングすることで、GUTはCIFAR-10、CIFAR-100、Fashion MNIST、ImageNetteの非IIDデータ設定下で、既存手法よりも1–6%のテスト精度向上を達成した。

ABSTRACT

Decentralized learning enables the training of deep learning models over large distributed datasets generated at different locations, without the need for a central server. However, in practical scenarios, the data distribution across these devices can be significantly different, leading to a degradation in model performance. In this paper, we focus on designing a decentralized learning algorithm that is less susceptible to variations in data distribution across devices. We propose Global Update Tracking (GUT), a novel tracking-based method that aims to mitigate the impact of heterogeneous data in decentralized learning without introducing any communication overhead. We demonstrate the effectiveness of the proposed technique through an exhaustive set of experiments on various Computer Vision datasets (CIFAR-10, CIFAR-100, Fashion MNIST, and ImageNette), model architectures, and network topologies. Our experiments show that the proposed method achieves state-of-the-art performance for decentralized learning on heterogeneous data via a $1-6\%$ improvement in test accuracy compared to other existing techniques.

研究の動機と目的

• デバイス間で非IID（非同一分布）なデータ分布が存在する場合に生じる分散型学習における性能劣化を解消すること。
• 通信コストを増加させることなく、収束性と精度を向上させるトラッキングに基づく手法を開発すること。
• 通信コストが2倍に増加する既存の勾配トラッキングまたはモーメンタムベースの手法の限界を克服すること。
• プライバシーとスケーラビリティを保ちながら、現実のデータ非同一性に適応した効果的な分散型学習を可能にすること。
• 非IID条件下で、SOTAの集中型および分散型アルゴリズムと同等の収束速度を達成すること。

提案手法

• 勾配ではなく、モデルパラメータの更新の一致（consensus）をトラッキングするグローバルアップデートトラッキング（GUT）を提案。通信はトラッキング変数のみに限定される。
• 各エージェントは、隣接デバイスのモデルパラメータのローカルコピーを保持し、差分（x_i^t - x_i^{t-1}）を計算してグローバルアップデートをトラッキングする。
• 局所平均と勾配降下法を用いて更新されるトラッキング変数 y_i^t を導入。これにより、完全なモデルパラメータの送信なしに、モデル更新の一致を実現する。
• 通信コストを伴わずにグローバルモーメンタム同期を模倣する、準グローバルモーメンタムの変種、QG-GUTm を導入。収束安定性が向上する。
• 更新の大きさを制御するスケーリング係数 μ を採用。収束性と性能のバランスを取るために、データセットおよびトポロジーごとに調整される。
• 理論的分析により、1次解への非漸近的収束レートが確立され、SOTAの分散型アルゴリズムと同等の性能を示した。

実験結果

リサーチクエスチョン

• RQ1 通信コストを増加させることなく、非同一分布データにおける分散型学習性能をトラッキング機構が向上させられるか？
• RQ2 勾配ではなくモデルパラメータの更新をトラッキングすることにより、分散環境下での収束性と精度にどのような影響を与えるか？
• RQ3 通信コストを伴わず、分散型かつ通信フリーな形で準グローバルモーメンタム機構を効果的に実装できるか？
• RQ4 DSGDm、QG-DSGDm、D² といった既存手法と比較して、GUT はデータ非IID度が変化する条件下で、テスト精度と収束性においてどのように差をつけるか？
• RQ5 異なるネットワークトポロジーとモデルアーキテクチャが、GUT 及びその変種の性能に与える影響は何か？

主な発見

• ResNet-20を用いたCIFAR-10において、α=0.01（高非同一性）条件下でQG-GUTmは81.04% ± 1.66のテスト精度を達成し、QG-DSGDmを1.19%上回った。
• 16エージェントのリングトポロジーとResNet-20を用いた場合、α=1でQG-GUTmは88.22% ± 0.36の精度を達成。DSGDm（86.60%）とGUT（84.72%）を上回った。
• ResNet-20を用いたCIFAR-100において、α=0.1でQG-GUTmは83.05% ± 0.48の精度を達成。DSGDmの74.20% ± 1.89を上回り、8.85%の向上を示した。
• GUT単体でも、α=0.01のCIFAR-10で70.16% ± 4.94の精度を達成。DSGDm（65.62%）およびモーメンタム変種のDSGDm-N（63.66%）を上回った。
• QG-GUTm-Nにおけるネステロフモーメンタムの使用は、高非同一性（α=0.01）条件下で性能を低下させた。これは、非IID環境下では準グローバルモーメンタムが標準モーメンタムよりも効果的であることを示している。
• VGG-11およびMobileNet-V2を用いた実験により、アーキテクチャを問わず一貫した向上が確認された。α=1でQG-GUTmはVGG-11で84.46% ± 0.33の精度を達成。DSGDmの81.77%を上回った。