[論文レビュー] Protecting Split Learning by Potential Energy Loss

Fei Zheng, Chaochao Chen+6 more|arXiv (Cornell University)|Oct 18, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、同一クラスの出力を意思決定境界に近づけることで、ラベル漏洩攻撃を受けるスプリットラーニングにおける攻撃者の汎化誤差を向上させる、新たな正則化手法であるポテンシャルエネルギー損失（PELoss）を提案する。電気的反発力に類似したクラス間出力の反発をモデル化することで、下位モデルの出力がより複雑になり、少数のラベル付きサンプルでの微調整が難しくなる。これにより、攻撃者の正確性は著しく低下するが、モデル性能は妥当な水準を維持する。

ABSTRACT

As a practical privacy-preserving learning method, split learning has drawn much attention in academia and industry. However, its security is constantly being questioned since the intermediate results are shared during training and inference. In this paper, we focus on the privacy leakage from the forward embeddings of split learning. Specifically, since the forward embeddings contain too much information about the label, the attacker can either use a few labeled samples to fine-tune the top model or perform unsupervised attacks such as clustering to infer the true labels from the forward embeddings. To prevent such kind of privacy leakage, we propose the potential energy loss to make the forward embeddings become more 'complicated', by pushing embeddings of the same class towards the decision boundary. Therefore, it is hard for the attacker to learn from the forward embeddings. Experiment results show that our method significantly lowers the performance of both fine-tuning attacks and clustering attacks.

研究の動機と目的

• スプリットラーニングにおけるプライバシー漏洩リスクに対処する。ここでは攻撃者が少数のラベル付きサンプルのみでラベルを再構築し、下位モデルを微調整できる。
• 標準的なスプリットラーニングでは、同一クラスの出力が凝集した分布を示すことが、敵対的微調整を可能にするという核心的問題を特定する。
• プライバシー保護の問題を、汎化誤差の最大化タスクとして再定式化する：少数のラベル付きサンプルから一般化しにくくする。
• 物理的インスピレーションをもつ損失関数「ポテンシャルエネルギー損失（PELoss）」を提案する。この損失関数は、同一クラスの出力を意思決定境界に向け、攻撃者の不確実性を高めるように再分布化する。
• 既存手法（距離相関損失（DcorLoss）など）と比較して、PELossがより強力なプライバシー保護を実現し、安定性と性能のトレードオフにおいて優れていることを実証する。

提案手法

• 下位モデルの特徴空間における同一クラス出力同士の全ペア間に反発力が働くように、ポテンシャルエネルギー損失項を導入する。
• 損失関数は、同一クラスの出力ペア間の逆数距離の和にハイパーパrameter α をスケーリングして定義され、出力が意思決定境界に向け広がるように促進する。
• スプリットラーニングの訓練中にPELossを正則化子として統合し、同一クラスの出力が凝集しにくく、より分散するように損失関数の形状を変更する。
• 標準的なスプリットラーニングの通信および最適化プロトコルを維持しつつ、下位モデルをPELossで訓練する。
• ハイパーパrameter α を用いて反発の強度を制御する：α が大きいほど、同一クラスの凝集したクラスタに対するペナルティが高くなる。
• 収束性と頑健性を確保するため、早期停止とモデル保存戦略を適用し、テスト精度と攻撃者による微調整性能の両方で評価する。

Figure 1: Label leakage attack of split learning.

実験結果

リサーチクエスチョン

• RQ1 下位モデルの出力分布を変更することで、スプリットラーニングにおけるラベル漏洩攻撃の成功確率を低下させられるか？
• RQ2 同一クラスの出力を意思決定境界に近づけることで、少数のラベル付きサンプルでのみ微調整を行う攻撃者の汎化誤差を増大させられるか？
• RQ3 距離相関損失（DcorLoss）などの既存手法と比較して、提案手法のポテンシャルエネルギー損失（PELoss）はプライバシー保護能力とモデル性能の面でどのように差をつけるか？
• RQ4 特に反発強度が高くなる状況でも、提案手法はさまざまなデータセットおよびハイパーパrameter設定において安定性を示せるか？
• RQ5 PELossは、主な学習タスクの収束速度と最終的な精度に、どの程度の影響を及ぼすか？

主な発見

• PELossは、MNIST、Fashion-MNIST、CIFAR-10のすべてのデータセットで攻撃者の微調整精度を顕著に低下させ、α ≥ 8 の場合、同じ漏洩ラベルを用いて学習を再開した際のベースライン未満までに低下する。
• 平均的に、同じテスト精度水準において、PELossはDcorLossよりも攻撃者の正確性が低く抑えられ、優れたプライバシー保護能力を示す。
• PELossの曲線はDcorLossよりも滑らかく、α に対してより感受性が高く、プライバシーと性能のトレードオフをより良く制御可能で、予測可能な形で実現できる。
• α の値が高くなっても（例：α = 16）、PELossの訓練は安定しており、同様の条件下でDcorLossはしばしば収束しない。
• PELossを用いた訓練は収束速度がわずかに遅くなるが、訓練効率にほとんど影響を及ぼさないため、実世界の展開において実用的である。
• t-SNE可視化により、PELossが同一クラスの出力を効果的に広げ、クラスタが重なり合い、分離しにくくなることが確認された。特に、モデルの容量が高いためにCIFAR-10では顕著に現れている。

Figure 2: A small error on the decision region caused by small sample size (left) leads to a large generalization error (right).