[論文レビュー] Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction

Ngoc Duy Pham, Alsharif Abuadbba+3 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、バイナリ化されたローカル層を用いた分割学習（B-SL）を提案する。この手法により、計算とメモリ使用量を大幅に削減でき、推論速度が最大17.5倍速くなり、帯域幅も32倍も削減される。同時に、データの機微性も向上する。B-SLは、粉砕された特徴マップからの漏洩を低減し、漏洩損失と微分プライバシーを統合することで、より強固なプライバシー保証を実現し、SSIM漏洩を最大50%低減し、特徴空間乗っ取り攻撃に対しても効果的な防御を提供する。

ABSTRACT

Split learning (SL) enables data privacy preservation by allowing clients to collaboratively train a deep learning model with the server without sharing raw data. However, SL still has limitations such as potential data privacy leakage and high computation at clients. In this study, we propose to binarize the SL local layers for faster computation (up to 17.5 times less forward-propagation time in both training and inference phases on mobile devices) and reduced memory usage (up to 32 times less memory and bandwidth requirements). More importantly, the binarized SL (B-SL) model can reduce privacy leakage from SL smashed data with merely a small degradation in model accuracy. To further enhance the privacy preservation, we also propose two novel approaches: 1) training with additional local leak loss and 2) applying differential privacy, which could be integrated separately or concurrently into the B-SL model. Experimental results with different datasets have affirmed the advantages of the B-SL models compared with several benchmark models. The effectiveness of B-SL models against feature-space hijacking attack (FSHA) is also illustrated. Our results have demonstrated B-SL models are promising for lightweight IoT/mobile applications with high privacy-preservation requirements such as mobile healthcare applications.

研究の動機と目的

• リソース制限のあるモバイルおよびIoTデバイスにおける分割学習の高い計算およびメモリオーバーヘッドに対処すること。
• 時系列データやECGのような機微なデータを含む、共有される粉砕された特徴マップからのデータプライバシー漏洩を低減すること。
• バイナリ化と新しい漏洩低減技術を組み合わせることで、顕著な精度低下を伴わずにプライバシー保護を強化すること。
• バイナリ化モデルに微分プライバシーを統合し、最小限の精度的妥協で保証可能なプライバシーを提供すること。
• 特徴空間乗っ取り攻撃（FSHA）に対するB-SLの耐性を評価し、実世界のシナリオにおける有効性を示すこと。

提案手法

• ローカルクライアント側のレイヤーのみをバイナリ化し、サーバー側はフル精度を維持することで、前方伝搬および逆伝搬を高速化する。
• ローカルバイナリ化レイヤーを、特徴マップからの情報漏洩を最小限に抑えるために、新規のローカル漏洩損失を用いて訓練するハイブリッドトレーニング戦略を適用する。
• ランダム応答メカニズムを介して微分プライバシーを統合し、バイナリ化された活性化値に制御されたノイズを注入することで、ε-微分プライバシーを確保する。
• 2段階のモデルアーキテクチャを採用：クライアントは最初の数層（バイナリ化）を処理し、サーバーは残りの層（フル精度）を処理することで、プライバシー保護型の協調学習を実現する。
• SSIMおよびKLダイバージェンスの指標を用いて、プライバシー漏洩を定量的に評価し、B-SLを標準的なSLおよび他のベースラインと比較する。
• FSHAの下でMNIST、CIFAR-10およびその他のデータセットに対してエンドツーエンドの評価を実施し、再構成抵抗性およびモデルの耐性をテストする。

Figure 1: Visual invertibility of a typical CNN under SL setting. The feature maps show images visually plotted from a channel in the first convolution and subsampling layers.

実験結果

リサーチクエスチョン

• RQ1 分割学習におけるローカルレイヤーのバイナリ化は、モデルの精度を損なわせることなく、モバイルデバイスやIoTデバイスにおける計算およびメモリ使用量を顕著に削減できるか？
• RQ2 特に特徴空間乗っ取り攻撃の下で、バイナリ化が共有される粉砕された特徴マップからのプライバシー漏洩をどの程度低減できるか？
• RQ3 提案されたローカル漏洩損失は、単なるバイナリ化に加えて、情報漏洩をさらに低減するのにどの程度有効か？
• RQ4 微分プライバシーは、バイナリ化された分割学習に効果的に統合可能であり、最小限の精度的妥協で保証可能なプライバシーを提供できるか？
• RQ5 再構成攻撃（例：FSHA）に対する抵抗性という観点から、B-SLは標準的な分割学習と比較して、再構成品質および分類精度の面で優れているか？

主な発見

• B-SLは、トレーニングおよび推論の両フェーズにおいて、モバイルデバイス上での前方伝搬時間を、標準的な分割学習と比較して最大17.5倍高速化する。
• ローカル活性化およびモデル重みのバイナリ化により、メモリ使用量と帯域幅使用量が最大32倍削減される。
• 標準的な分割学習と比較して、SSIM指標におけるプライバシー漏洩が最大50%低減され、特にローカル漏洩損失を組み合わせた場合に顕著である。
• 特徴空間乗っ取り攻撃（FSHA）の下で、B-SLはスプリット1では10%、スプリット2では64%の再構成精度にとどまる一方、標準的なSLは71%および96%の再構成精度を示し、より強い耐性を示す。
• FSHAの下でもMNISTでは分類精度が94–95%を維持するが、SLは97–98%に低下する。これは、B-SLが高い精度低下にもかかわらず、耐性を示していることを示している。
• ランダム応答を介した微分プライバシーの統合により、最小限の精度的妥協でε-微分プライバシーが達成され、保証可能なプライバシー保護が可能になる。

Figure 2: Visual invertibility of [ 16 ] and [ 18 ] approaches from our experiments. The top row, from left to right, shows the visually plotted images from activations of a convolution layer using Dropping activation outputs with $p$ set to $0$ , $5$ , and $9$ [ 16 ] . The bottom row shows the reco