[논문 리뷰] The Non-IID Data Quagmire of Decentralized Machine Learning

Kevin Hsieh, Amar Phanishayee외 2명|arXiv (Cornell University)|2019. 10. 01.

Privacy-Preserving Technologies in Data참고 문헌 65인용 수 91

한 줄 요약

이 논문은 파티션 간 편향된 라벨 분포(non-IID 데이터)가 분산 학습 성능을 저하시킨다는 것을 분석하고, SkewScout와 Group Normalization을 해결책으로 제시하며 상당한 정확도 향상과 통신 절감을 보여준다.

ABSTRACT

Many large-scale machine learning (ML) applications need to perform decentralized learning over datasets generated at different devices and locations. Such datasets pose a significant challenge to decentralized learning because their different contexts result in significant data distribution skew across devices/locations. In this paper, we take a step toward better understanding this challenge by presenting a detailed experimental study of decentralized DNN training on a common type of data skew: skewed distribution of data labels across devices/locations. Our study shows that: (i) skewed data labels are a fundamental and pervasive problem for decentralized learning, causing significant accuracy loss across many ML applications, DNN models, training datasets, and decentralized learning algorithms; (ii) the problem is particularly challenging for DNN models with batch normalization; and (iii) the degree of data skew is a key determinant of the difficulty of the problem. Based on these findings, we present SkewScout, a system-level approach that adapts the communication frequency of decentralized learning algorithms to the (skew-induced) accuracy loss between data partitions. We also show that group normalization can recover much of the accuracy loss of batch normalization.

연구 동기 및 목표

• 다양한 모델과 데이터셋에서 편향된 라벨 파티셔닝이 분산 학습에 어떤 영향을 미치는지 평가한다.
• 세 가지 대표적인 분산 학습 알고리즘에서 non-IID 데이터의 영향을 평가한다.
• non-IID 조건에서 배치 정규화와 대안들 간의 역할을 조사한다.
• 레이블 데이터가 편향된 상황에서 정확도를 유지하면서 통신을 줄이는 실용적 해결책을 제안한다.
• 실제 세계 데이터와 non-IID 효과를 연구하고 완화하기 위한 시스템 수준의 방법을 공개한다.

제안 방법

• CIFAR-10, ImageNet, LeNet/GoogLeNet/ResNet, 그리고 얼굴 인식 설정에서 IID 및 non-IID 레이블 파티션을 갖는 분산 학습을 실증적으로 연구한다.
• Gaia, FederatedAveraging, DeepGradientCompression의 세 알고리즘과 기준선으로 BSP를 평가한다.
• non-IID 조건에서 배치 정규화의 발산 특성을 특징짓고 대안으로 Group Normalization을 시험한다.
• 데이터 왜곡을 추정하고 알고리즘 하이퍼파라미터를 조정하여 정확도를 유지하는 방식으로 통신을 적응시키는 SkewScout를 개발한다.
• 지리적으로 분 dispersed된 데이터에서 왜곡을 보여주기 위해 실제 Flickr-Mammal 데이터셋을 사용한다.
• 결과의 강인함을 보여주기 위한 하이퍼파라미터 민감도 분석을 제공한다.

실험 결과

연구 질문

• RQ1 데이터 파티션 간의 편향된 레이블 분포가 분산 학습에서 모델 정확도에 어떤 영향을 미치는가?
• RQ2 비 IID 레이블 편향하에서 인기 있는 분산 알고리즘이 정확도 손실을 겪는가, 그리고 BSP가 면역인가?
• RQ3 배치 정규화는 비-IID 조건에서 특히 취약한가, 그리고 대안들이 성능을 회복시킬 수 있는가?
• RQ4 편향된 데이터 설정에서 시스템 수준의 접근법으로 정확도를 유지하면서 통신을 줄일 수 있는가?
• RQ5 데이터 편향 인식형 적응형 통신 메커니즘(SkewScout)이 모델 품질을 유지하는 데 얼마나 효과적인가?

주요 결과

• 편향된 라벨 파티션은 여러 데이터셋, 모델, 분산 알고리즘에 걸쳐 주요 정확도 손실을 야기한다.
• 비IID 라벨 편향에서 배치 정규화가 특히 취약하며 BSP 하에서도 유효성 검증 정확도가 크게 악화한다.
• 편향의 정도가 문제의 난이도를 강하게 결정하며, 편향이 높을수록 정확도 차이가 커진다.
• Group Normalization은 비-IID 설정에서 BatchNorm으로부터의 정확도 손실의 많은 부분을 회복시켜 성능을 크게 향상시킨다.
• SkewScout는 비-IID 조건에서 정확도를 BSP 수준으로 유지하면서 편향에 따라 최대 34.1배까지 통신을 적응적으로 줄인다.
• 실제 Flickr-Mammal 데이터는 비-IID 저하가 합성적일 뿐만 아니라 실제 지리 분산 시나리오에서도 발생함을 보여준다.