[論文レビュー] Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning

Sihun Baek, Jihong Park+4 more|arXiv (Cornell University)|Jul 1, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、Vision Transformers (ViT) のための新しいスプリット学習フレームワーク CutMixSL を提案する。CutSmashed データ —— 乱数でマスクされ、圧縮された隠れ表現 —— を導入することで、精度、通信効率、データの機微性を向上させる。スプリット学習中に CutMix スタイルのデータ拡張を活用することで、CutMixSL はアップロードペイロードを 20–50% 減少させ、プライバシー漏洩を約 8 倍低減し、ベースラインと比較してトップ-1 精度を最大 18.5% 向上させる。

ABSTRACT

This article seeks for a distributed learning solution for the visual transformer (ViT) architectures. Compared to convolutional neural network (CNN) architectures, ViTs often have larger model sizes, and are computationally expensive, making federated learning (FL) ill-suited. Split learning (SL) can detour this problem by splitting a model and communicating the hidden representations at the split-layer, also known as smashed data. Notwithstanding, the smashed data of ViT are as large as and as similar as the input data, negating the communication efficiency of SL while violating data privacy. To resolve these issues, we propose a new form of CutSmashed data by randomly punching and compressing the original smashed data. Leveraging this, we develop a novel SL framework for ViT, coined CutMixSL, communicating CutSmashed data. CutMixSL not only reduces communication costs and privacy leakage, but also inherently involves the CutMix data augmentation, improving accuracy and scalability. Simulations corroborate that CutMixSL outperforms baselines such as parallelized SL and SplitFed that integrates FL with SL.

研究の動機と目的

• Vision Transformers (ViT) のスプリット学習における高い通信コストとプライバシー漏洩を是正すること。これは、入力画像に類似した大規模かつ非構造的なマッシュドデータに起因する。
• モデルサイズと通信オーバーヘッドのため、従来のスプリット学習およびフェデレーテッドラーニングが大規模な ViT モデルの処理に限界を示す問題を克服すること。
• スプリット学習パイプラインにデータ拡張を統合することで、分散型 ViT 学習のスケーラビリティと精度を向上させること。
• 生データを共有せずに、再構築に基づくプライバシー漏洩を低減するプライバシー保護メカニズムを開発すること。

提案手法

• クライアントは、スプリット層で隠れ表現（マッシュドデータ）に相互に排他的なランダムマスクを適用することで CutSmashed データを生成し、共有の擬似乱数列ジェネレータを用いる。
• サーバーは複数のクライアントから送信されたマスク済み CutSmashed データを統合し、CutMix データを形成する。このデータは前方および逆伝搬に使用される。
• 共有の擬似乱数列により、クライアントとサーバー間でマスクの相互排他的な性質を保証し、生データを露呈せずに実現する。
• スプリット学習プロセスに Patch CutMix データ拡張を統合することで、モデルの汎化性能とインダクティブバイアスを向上させる。
• クライアントは非ゼロのマスク済みパッチのみをアップロードするため、通信ペイロードが削減され、情報漏洩のリスクも制限される。
• 並列スプリット学習で見られる更新のアンバランス問題を回避することで、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 CutSmashed データは、ViT を用いたスプリット学習における通信オーバーヘッドを低減しつつ、モデル精度を維持できるか？
• RQ2 プライバシー漏洩と通信効率の観点から、CutMixSL は並列スプリット学習および SplitFed と比較してどのように差をつけるか？
• RQ3 スプリット学習に CutMix スタイルの拡張を統合することで、ViT の性能はどの程度向上するか？
• RQ4 CutSmashed 表現におけるマスク処理とシャッフル処理を施したデータは、再構築攻撃のリスクを低減するか？
• RQ5 クライアント数の増加に伴って CutMixSL は効果的にスケーリング可能か、性能劣化が生じないか？

主な発見

• CutMixSL は、マスキング比とグループサイズに応じて、ベースラインの並列スプリット学習と比較して通信ペイロードを 20–50% 減少させる。
• 標準的なマッシュドデータと比較して、再構築の平均二乗誤差（MSE）で測定したところ、プライバシー漏洩は約 8 倍低減された。
• トップ-1 精度は、ベースラインのスプリット学習と比較して最大 18.5% 向上し、CutMixSFL は 10 クライアントで 80.97% の精度を達成した。
• CutMixSL は優れたスケーラビリティを示し、10 クライアントで 12.9% の性能向上を達成し、並列 SL や SplitFed を上回った。
• シャッフル処理を施した CutMix マスクはプライバシー保護を強化し、標準 CutMix と比較して再構築誤差を 3 倍に増加させた。
• 本手法はスプリット学習における更新のアンバランス問題を効果的に緩和し、クライアント数の増加に伴っても一貫した性能向上を実現した。