[논문 리뷰] Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data

Eunjeong Jeong, Seungeun Oh외 4명|arXiv (Cornell University)|2018. 11. 28.

Privacy-Preserving Technologies in Data참고 문헌 4인용 수 443

한 줄 요약

논문은 페더레이티드 디스틠레이션(FD)과 페더레이티드 증강(FAug)을 도입하여 비 IID 개인 데이터 하에서의 통신 효율적인 온 디바이스 학습을 가능하게 하며, 훨씬 적은 통신으로 연합 학습(FL)과 유사한 정확도를 달성합니다. FD는 라벨별 평균 로짓 벡터를 사용해 온라인 지식 증류를 수행하고, FAug는 서버에서 학습된 GAN을 사용해 IID 분포를 향해 데이터를 증강합니다.

ABSTRACT

On-device machine learning (ML) enables the training process to exploit a massive amount of user-generated private data samples. To enjoy this benefit, inter-device communication overhead should be minimized. With this end, we propose federated distillation (FD), a distributed model training algorithm whose communication payload size is much smaller than a benchmark scheme, federated learning (FL), particularly when the model size is large. Moreover, user-generated data samples are likely to become non-IID across devices, which commonly degrades the performance compared to the case with an IID dataset. To cope with this, we propose federated augmentation (FAug), where each device collectively trains a generative model, and thereby augments its local data towards yielding an IID dataset. Empirical studies demonstrate that FD with FAug yields around 26x less communication overhead while achieving 95-98% test accuracy compared to FL.

연구 동기 및 목표

• 프라이버시를 보장하는 데이터와 함께 무거운 통신 오버헤드 없이 온-디바이스 ML을 동기화하고 가능하게 한다.
• 다양한 디바이스 간 비 IID 데이터가 FL 성능을 저하시키는 문제를 해결한다.
• 저통신 지식 증류를 위한 FD와 데이터 분포를 IID에 가깝게 만드는 FAug를 제안한다.

제안 방법

• FD는 전체 모델 매개변수 대신 모델 출력(로짓)만 교환하여 대형 로컬 모델을 가능하게 한다.
• FD는 라벨별 평균 로짓 벡터를 로컬에 저장하고 이를 업로드하여 라벨별 글로벌 평균 로짓을 계산하게 하고, 이는 증류의 교사 역할을 한다.
• FAug은 서버에서 조건부 GAN을 학습하여 누락된 타깃 라벨 데이터를 증강하고, 디바이스가 로컬에서 IID 유사한 데이터세트를 재현할 수 있도록 한다.
• 프라이버시 처리에는 디바이스-서버 프라이버시 누출을 줄이기 위해 여분의 라벨을 추가하는 방식이 포함되며, 디바이스 간 프라이버시 누출은 분석된다.
• 평가에서는 비 IID MNIST에서 FD/FD+FAug를 FL/FL+FAug와 비교하며, 다양한 디바이스 수 및 타깃/중복 라벨 설정에서 비교한다.

실험 결과

연구 질문

• RQ1 FD가 비 IID 개인 데이터에서도 경쟁력 있는 정확도를 유지하면서 FL보다 훨씬 낮은 통신을 달성할 수 있는가?
• RQ2 FAug가 관리 가능한 프라이버시 및 통신 비용으로 비 IID 성능 격차를 효과적으로 완화하는가?
• RQ3 디바이스 수, 타깃 라벨, 중복 라벨의 수가 FD/FAug의 정확도 및 프라이버시 누출에 어떤 영향을 미치는가?
• RQ4 FD를 FAug와 결합하는 경우와 FL의 경우 사이의 통신 오버헤드와 정확도 간의 트레이드오프는 무엇인가?

주요 결과

방법	정확도 (장치=2)	정확도 (장치=4)	정확도 (장치=6)	정확도 (장치=8)	정확도 (장치=10)	로짓	모델 매개변수	샘플	합계 (비트)
FD + FAug	0.8464	0.8526	0.8498	0.8480	0.8642	3,200	1,493,520	15	47,989,120
FD (non-IID)	0.7230	0.7304	0.6951	0.6839	0.7524	3,200	-	-	102,400
FL + FAug	0.9111	0.8654	0.8956	0.9101	0.9259	-	39,882,256	15	1,276,326,272
FL (non-IID)	0.8077	0.8684	0.8738	0.8878	0.9060	-	38,388,736	-	1,228,439,552

• FD와 FAug 조합은 FL에 비해 전체 통신을 약 26배 낮추면서 테스트 정확도 95-98%에 도달한다.
• FD+FAug는 디바이스 수가 달라져도 라벨당 정확도 향상과 전체 테스트 정확도가 FL에 비해 비슷하게 나타난다.
• 비 IID 데이터에서 FAug 없이의 FD는 FL에 비해 명확한 정확도 격차를 보이지만, FAug는 이 차이를 크게 좁혀 FD+FAug가 FL 정확도에 근접하게 한다.
• 중복 라벨의 증가와 더 많은 디바이스에서 디바이스 간 프라이버시 누출이 감소하여 타깃 라벨 공개 위험이 줄어든다.
• 중복 라벨이 더 많아질수록 디바이스-서버 프라이버시 누출은 감소하고, 타깃 라벨이 더 많아질수록 증가한다.