[論文レビュー] XOR Mixup: Privacy-Preserving Data Augmentation for One-Shot Federated Learning

MyungJae Shin, Chihoon Hwang+4 more|arXiv (Cornell University)|Jun 9, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用数 57

ひとこと要約

XorMixFL は XOR ベースの mixup を用いてデバイス間でデータをプライベートに拡張し、ワンショット federated learning 設定で、非 IID の性能を向上させる。合成サンプルを生成しつつプライバシーを保護。

ABSTRACT

User-generated data distributions are often imbalanced across devices and labels, hampering the performance of federated learning (FL). To remedy to this non-independent and identically distributed (non-IID) data problem, in this work we develop a privacy-preserving XOR based mixup data augmentation technique, coined XorMixup, and thereby propose a novel one-shot FL framework, termed XorMixFL. The core idea is to collect other devices' encoded data samples that are decoded only using each device's own data samples. The decoding provides synthetic-but-realistic samples until inducing an IID dataset, used for model training. Both encoding and decoding procedures follow the bit-wise XOR operations that intentionally distort raw samples, thereby preserving data privacy. Simulation results corroborate that XorMixFL achieves up to 17.6% higher accuracy than Vanilla FL under a non-IID MNIST dataset.

研究の動機と目的

• Address non-IID data distributions in federated learning by creating privacy-preserving synthetic samples.
• Propose a one-shot FL framework (XorMixFL) that uses XOR-based mixup to augment data without exposing raw samples.
• Maintain data privacy while improving global model accuracy on imbalanced label distributions.

提案手法

• Introduce XorMixup, which encodes mixed samples with bit-wise XOR to protect raw data while creating synthetic samples.
• Use server-side decoding with its own base samples to produce realistic augmented data.
• Apply a one-shot FL framework where devices upload encoded samples, the server decodes to balance label distribution, and a global model is trained from reconstructed data.
• Incorporate p-fold sample blending and averaging of up to p samples per label to extract common features and control privacy/noise.
• Compare XorMixFL against Vanilla FL and MixFL on non-IID MNIST to evaluate accuracy and privacy trade-offs.

実験結果

リサーチクエスチョン

• RQ1 Can XOR-based mixup (XorMixup) provide privacy-preserving data augmentation in a one-shot FL setting?
• RQ2 Does XorMixFL improve accuracy over Vanilla FL and MixFL under non-IID data distributions while maintaining higher privacy (as measured by sample dissimilarity)?

主な発見

• XorMixFL は非 IID MNIST のワンショット設定で Vanilla FL より最大で 17.6% の精度向上を達成する。
• XorMixFL は同じ非 IID シナリオで standalone ML を最大約 8.13% 上回ることができる。
• プライバシー指標（MDS）は、試験された構成全体で MixFL より高いサンプルプライバシーを XorMixFL が提供することを示す。
• アブレーションでは、XorMixFL の XOR ベースのエンコード/デコードは競争力のある精度を維持しつつ MixFL より強いプライバシーを提供することを示す。
• ブレンド深さ p の増加とダミーラベルの数 M は通常、プライバシー（MDS）を高め、精度には予測可能な影響を与える。
• XorMixup は MixFL と同等の精度を達成しつつプライバシーを向上させることができ、プライバシー保護型のワンショット FL における XOR ベースのデータ拡張の価値を示している。