[論文レビュー] Differentially Private CutMix for Split Learning with Vision Transformer

Seungeun Oh, Jihong Park+6 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、Vision Transformers (ViT) のための微分プライバシー付きスプリットラーニング（SL）フレームワークである DP-CutMixSL を提案する。この手法は、パッチレベルのランダム化 CutMix を用いて、プライバシーと通信効率を向上させる。破壊されたデータ内のランダムなパッチを置き換え、ガウスノイズを注入することで、DP-SL や DP-MixSL よりも高い精度とより厳密なプライバシー保証を達成する。理論的分析により、CutMix 操作によってリーマン微分プライバシー（RDP）が強化されることが示された。

ABSTRACT

Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT' s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT' s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies Rényi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.

研究の動機と目的

• Vision Transformers (ViT) を用いたスプリットラーニング（SL）におけるプライバシーと通信非効率性を解決する。これは、破壊されたデータと元の入力との間の高い類似性に起因する。
• 大規模な ViT モデルに対して標準的な FL が直面する通信コストとエネルギー消費の高さを克服する。
• ViT のパッチベースアーキテクチャに適した、プライバシー保護型のクライアント間補間メカニズムを開発する。
• パッチレベルのランダム化 CutMix 操作を用いた、新たな理論的分析を通じて、改善された微分プライバシー（DP）保証を示す。
• 既存の DP-SL や DP-MixSL ベースラインと比較して、より優れた精度-プライバシートレードオフを達成する。

提案手法

• パッチレベルのランダム化 CutMix を用いた、ViT 向けの微分プライバシー付きスプリットラーニングフレームワークである DP-CutMixSL を導入する。
• 破壊されたデータにガウスメカニズムを適用し、微分プライバシーを保証する。
• ランダムなバイナリシーケンスを用いて、破壊されたデータ内の選択されたパッチをマスクし、Cutout データを生成する。
• パッチの置換を制御するため、混合比をディリクレ多項分布によって生成する。
• 複数のクライアントからの Cutout データを統合し、DP-CutMix データを生成して前方伝搬に使用する。
• 理論的に、本手法のリーマン微分プライバシー（RDP）を束縛し、CutMix 操作によるプライバシーの強化を示す。

実験結果

リサーチクエスチョン

• RQ1 パッチレベルのランダム化 CutMix は、標準的な DP-SL と比較して、Vision Transformers のスプリットラーニングにおけるプライバシー保証を向上させることができるか？
• RQ2 提案された DP-CutMixSL フレームワークは、ViT ベースのスプリットラーニングにおける精度-プライバシートレードオフにどのように影響を与えるか？
• RQ3 クライアント間データ混合におけるパッチレベルの補間は、バウンディングボックスベースやグローバルミックスアップ手法と比較して、ViT において優れているか？
• RQ4 ViT スプリットラーニングの文脈において、CutMix 操作が微分プライバシーをどの程度強化するか？
• RQ5 混合グループサイズが、DP-CutMixSL におけるプライバシー（ε）とモデル精度に与える影響はどの程度か？

主な発見

• CIFAR-10 において ViT-Tiny を用いた場合、DP-CutMixSL は最高のトップ-1精度（73.77%）を達成し、DP-SL や DP-MixSL を上回った。
• ノイズ分散が 16/255 の場合、DP-CutMixSL は DP-MixSL よりわずかに精度が低かったが、より厳密な RDP バインドを維持した。
• 本手法は、DP-SL よりもより厳密なリーマン微分プライバシー（RDP）バインドを達成しており、より強いプライバシーの強化が示された。
• 混合グループサイズが増加するにつれ、プライバシー（ε）と精度の両方が低下し、「群衆の中に隠れる」効果と情報損失のトレードオフが明確に示された。
• CutMixSL のスケーラビリティは 2 から 10 クライアントの範囲で維持され、クライアント数が増えるほど精度が向上し、SplitFed の重み平均化と組み合わせることでさらなる向上が得られた。
• 提案されたパッチレベル CutMix は、バウンディングボックスベースの Vanilla CutMix よりも効果的であり、PiT-Tiny では 71.26% の精度を達成したのに対し、Vanilla CutMix では 58.21% にとどまった。