[論文レビュー] The Non-IID Data Quagmire of Decentralized Machine Learning

Kevin Hsieh, Amar Phanishayee+2 more|arXiv (Cornell University)|Oct 1, 2019

Privacy-Preserving Technologies in Data参考文献 65被引用数 91

ひとこと要約

本論文は、パーティション間のラベル分布の偏り（非 IID データ）が分散型学習の性能を劣化させることを分析し、SkewScoutとGroup Normalizationを解決策として提案し、精度の大幅な向上と通信コストの削減を示す。

ABSTRACT

Many large-scale machine learning (ML) applications need to perform decentralized learning over datasets generated at different devices and locations. Such datasets pose a significant challenge to decentralized learning because their different contexts result in significant data distribution skew across devices/locations. In this paper, we take a step toward better understanding this challenge by presenting a detailed experimental study of decentralized DNN training on a common type of data skew: skewed distribution of data labels across devices/locations. Our study shows that: (i) skewed data labels are a fundamental and pervasive problem for decentralized learning, causing significant accuracy loss across many ML applications, DNN models, training datasets, and decentralized learning algorithms; (ii) the problem is particularly challenging for DNN models with batch normalization; and (iii) the degree of data skew is a key determinant of the difficulty of the problem. Based on these findings, we present SkewScout, a system-level approach that adapts the communication frequency of decentralized learning algorithms to the (skew-induced) accuracy loss between data partitions. We also show that group normalization can recover much of the accuracy loss of batch normalization.

研究の動機と目的

• 複数のモデルとデータセットにわたって、ラベル分割の偏りが分散型学習へどのような影響を与えるか評価する。
• 代表的な分散型学習アルゴリズム3つに対する非IIDデータの影響を評価する。
• 非IID条件下でのバッチ正規化と代替手法の役割を調査する。
• 偏りのあるデータ状況で精度を維持しつつ通信を削減する現実的な解決策を提案する。
• 実世界データと非IID効果を研究・緩和するためのシステムレベルの手法を公開する。

提案手法

• CIFAR-10、ImageNet、LeNet/GoogLeNet/ResNet、および顔認識設定において、IIDおよび非IIDラベル分割による分散型学習を経験的に研究する。
• Gaia、FederatedAveraging、DeepGradientCompression の3つのアルゴリズムを評価し、ベースラインとしてBSPを併用する。
• 非IID条件下でのバッチ正規化の発散を特徴づけ、代替としてGroup Normalizationを試す。
• データの偏りを推定し、アルゴリズムのハイパーパラメータを調整して精度を維持するよう通信を適応させるSkewScoutを開発する。
• 実世界のFlickr-Mammalデータセットを用いて地理的に分散したデータの偏りを例示する。
• 発見の頑健性を示すためにハイパーパラメータ感度分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 データ分割におけるラベル分布の偏りは、分散型学習におけるモデルの精度にどう影響するか。
• RQ2 一般的な分散型アルゴリズムは非IIDラベルの偏り下で精度低下に苦しむのか、BSPは免疫を持つのか。
• RQ3 非IID条件でバッチ正規化は特に脆弱か、代替手法は性能を回復できるか。
• RQ4 偏りのあるデータ設定で、通信を削減しつつ精度を維持するシステムレベルの手法は可能か。
• RQ5 データの偏りを考慮した適応通信機構（SkewScout）がモデル品質を維持するうえでどの程度有効か。

主な発見

• ラベル分布の偏りは、複数のデータセット・モデル・分散型アルゴリズムにまたがって大幅な精度低下を引き起こす。
• 非IIDラベル偏り下ではバッチ正規化は特に脆弱で、BSPでも検証精度の大幅低下を招く。
• 偏りの程度は問題の難易度を強く決定し、より大きい偏りは精度ギャップを拡大させる。
• Group Normalizationは非IID設定下でBatchNormの精度損失の多くを回復し、性能を大幅に改善できる。
• SkewScoutは偏りに応じて通信を最大で34.1倍削減しつつ、非IID条件下でBSPレベルの精度を維持する。
• 実世界のFlickr-Mammalデータは、非IID劣化が合成データだけでなく実用的な地理分散シナリオでも起きることを示している。