[논문 리뷰] XOR Mixup: Privacy-Preserving Data Augmentation for One-Shot Federated Learning

MyungJae Shin, Chihoon Hwang외 4명|arXiv (Cornell University)|2020. 06. 09.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 57

한 줄 요약

XorMixFL은 XOR 기반 믹스업을 사용하여 일회성 연합학습 설정에서 기기 간 데이터를 프라이버시 있게 증강하고 비IID 샘플을 생성하면서 프라이버시를 유지하여 성능을 향상시킵니다.

ABSTRACT

User-generated data distributions are often imbalanced across devices and labels, hampering the performance of federated learning (FL). To remedy to this non-independent and identically distributed (non-IID) data problem, in this work we develop a privacy-preserving XOR based mixup data augmentation technique, coined XorMixup, and thereby propose a novel one-shot FL framework, termed XorMixFL. The core idea is to collect other devices' encoded data samples that are decoded only using each device's own data samples. The decoding provides synthetic-but-realistic samples until inducing an IID dataset, used for model training. Both encoding and decoding procedures follow the bit-wise XOR operations that intentionally distort raw samples, thereby preserving data privacy. Simulation results corroborate that XorMixFL achieves up to 17.6% higher accuracy than Vanilla FL under a non-IID MNIST dataset.

연구 동기 및 목표

• 연합학습에서 비 IID 데이터 분포 문제를 프라이버시 보호 synthetic 샘플을 생성하여 해결합니다.
• 원샷 FL 프레임워크(XorMixFL)를 제안하여 RAW 샘플을 노출하지 않고 데이터를 증강하기 위해 XOR 기반 믹스업을 사용합니다.
• 데이터 프라이버시를 유지하면서 불균형 라벨 분포에서 글로벌 모델 정확도를 향상시킵니다.

제안 방법

• XorMixup을 도입하여 혼합 샘플을 비트 단위 XOR로 인코딩해 RAW 데이터를 보호하면서 합성 샘플을 만듭니다.
• 고유 기본 샘플을 사용하는 서버 측 디코딩으로 현실적인 증강 데이터를 생성합니다.
• 디바이스가 인코딩된 샘플을 업로드하고 서버가 디코딩하여 라벨 분포의 균형을 맞추며 재구성된 데이터에서 글로벌 모델을 학습하는 원샷 FL 프레임워크를 적용합니다.
• p-겹 샘플 블렌딩 및 라벨당 최대 p개의 샘플 평균화를 도입하여 공통 특징을 추출하고 프라이버시/노이즈를 제어합니다.
• 비 IID MNIST에서 Vanilla FL 및 MixFL과 비교하여 정확도와 프라이버시 트레이드오프를 평가합니다.

실험 결과

연구 질문

• RQ1 XOR 기반 믹스업(XorMixup)이 원샷 FL 설정에서 프라이버시 보호 데이터 증강을 제공할 수 있습니까?
• RQ2 XorMixFL이 비 IID 데이터 분포하에서 Vanilla FL 및 MixFL보다 정확도를 향상시키면서 샘플 이질성으로 측정된 프라이버시를 더 높게 유지합니까?

주요 결과

• XorMixFL은 비 IID MNIST에서 원샷 설정에서 Vanilla FL보다 최대 17.6% 더 높은 정확도를 달성합니다.
• XorMixFL은 같은 비 IID 시나리오에서 독립 실행형 ML보다 약 8.13%까지 더 좋은 성능을 낼 수 있습니다.
• 프라이버시 지표(MDS)는 XorMixFL이 시험된 구성들에서 MixFL보다 더 높은 샘플 프라이버시를 제공함을 시사합니다.
• 아블레이션은 XOR 기반 인코딩/디코딩을 가진 XorMixFL이 MixFL보다 더 강한 프라이버시를 제공하면서도 경쟁력 있는 정확도를 유지함을 보여줍니다.
• 블렌딩 깊이 p를 늘리고 더 많은 더미 라벨 M을 사용할수록 일반적으로 프라이버시(MDS)가 증가하고 정확도에도 예측 가능한 방식으로 영향을 줄 수 있습니다.
• XorMixup은 MixFL과 유사한 정확도를 달성하면서 프라이버시를 향상시켜 프라이버시 보호 원샷 FL에서 XOR 기반 증강의 가치를 보여줍니다.