[論文レビュー] ResSFL: A Resistance Transfer Framework for Defending Model Inversion Attack in Split Federated Learning

Jingtao Li, Adnan Siraj Rakin+4 more|arXiv (Cornell University)|May 9, 2022

Geophysical Methods and Applications被引用数 6

ひとこと要約

ResSFL は、専門デバイスでMI耐性特徴抽出器をトレーニングし、それをクライアントに転送することで、Split Federated Learning (SFL) におけるモデル逆転 (MI) 攻撃に対して防御する二段階の抵抗転送フレームワークである。VGG-11を用いたCIFAR-100では、再構成のMSEが0.050（ベースラインの0.005対比）に抑えられ、精度はわずか1%低下する一方で、クライアント側の計算負荷を軽量化するための軽量ファインチューニングにより、計算コストを低減した。

ABSTRACT

This work aims to tackle Model Inversion (MI) attack on Split Federated Learning (SFL). SFL is a recent distributed training scheme where multiple clients send intermediate activations (i.e., feature map), instead of raw data, to a central server. While such a scheme helps reduce the computational load at the client end, it opens itself to reconstruction of raw data from intermediate activation by the server. Existing works on protecting SFL only consider inference and do not handle attacks during training. So we propose ResSFL, a Split Federated Learning Framework that is designed to be MI-resistant during training. It is based on deriving a resistant feature extractor via attacker-aware training, and using this extractor to initialize the client-side model prior to standard SFL training. Such a method helps in reducing the computational complexity due to use of strong inversion model in client-side adversarial training as well as vulnerability of attacks launched in early training epochs. On CIFAR-100 dataset, our proposed framework successfully mitigates MI attack on a VGG-11 model with a high reconstruction Mean-Square-Error of 0.050 compared to 0.005 obtained by the baseline system. The framework achieves 67.5% accuracy (only 1% accuracy drop) with very low computation overhead. Code is released at: https://github.com/zlijingtao/ResSFL.

研究の動機と目的

• SFLのトレーニング中に発生するモデル逆転 (MI) 攻撃に対する脆弱性に対処すること。既存の防御はこれを是正できない。
• トレーニング全体にわたり強いMI耐性を維持しつつ、クライアントの計算負荷を低減すること。
• 初期トレーニング段階におけるMI防御の脆弱性を克服するため、事前にトレーニングされた専門モデルからクライアント側モデルへ抵抗性を転送すること。
• モデルの精度を損なわず、過度なFLOPsを追加せずに、SFLにおける有効なMI耐性を実現すること。
• SFLにおける異なるアーキテクチャおよびカットレイヤー設定に一般化可能な防御を実現すること。

提案手法

• 専門デバイスで攻撃者に意識的なトレーニングを実施し、中間活性化値に対してMI攻撃の挙動を模倣する強力な逆転モデルをトレーニングする。
• 特徴空間の縮小と再構成に対する耐性の向上を図るため、逆転モデルにボトルネック層を追加する。
• この攻撃者に意識的なトレーニングから得られる抵抗性特徴抽出器を導出し、標準的なSFLトレーニングの前にクライアント側モデルの初期化に用いる。
• クライアントは転送された抵抗性を用いて軽量なファインチューニングを実施し、計算コストを低減しながらMI耐性を維持する。
• 抵抗性転送メカニズムにより、初期トレーニングエポックが保護され、モデル収束中のデータ漏洩リスクが低減される。
• 複数のアーキテクチャ（VGG、ResNet、MobileNet）およびカットレイヤー設定で評価され、一般化性とスケーラビリティが示された。

(a) Training process of SFL

実験結果

リサーチクエスチョン

• RQ1 専門ベースの攻撃者に意識的なトレーニングと抵抗性転送を組み合わせた二段階フレームワークは、SFLトレーニング中のMI攻撃に対して効果的に防御できるか？
• RQ2 逆転モデルにボトルネック層を用いることで、MI耐性とモデル精度のトレードオフにどのような影響を与えるか？
• RQ3 抵抗性転送は、強いMI攻撃防御を維持しつつ、クライアント側の計算負荷をどの程度低減できるか？
• RQ4 異なるニューラルネットワークアーキテクチャおよびカットレイヤー設定におけるSFLにおいて、このフレームワークの性能はいかがなものか？
• RQ5 抵抗性転送メカニズムは、SFLにおける初期トレーニング段階の脆弱性にどのような影響を与えるか？

主な発見

• VGG-11とカットレイヤー2を用いたCIFAR-100では、ResSFLがモデル逆転再構成MSEを0.050に抑え、ベースラインの0.005と比較して、データ再構成に対する強い耐性を示した。
• 高い耐性にもかかわらず、モデルは67.5%の精度を維持し、ベースラインの68.5%と比較してわずか1%の低下にとどまった。
• フレームワークにより、標準的なSFLと比較してクライアント側のFLOPsが27%削減され、パラメータ数も20%削減された。また、フルFLのFLOPsの0.17%にとどまった。
• トランスファーラーニングにより、効果的な抵抗性転送が実現され、モデルが最も脆弱な初期トレーニングエポック中にも攻撃から保護された。
• カットレイヤー2のMobileNet-V2は、非常に低いFLOPs（3.7M）で高い耐性を達成し、アーキテクチャ間での効率性とスケーラビリティを示した。
• 複数のトポロジーにおいて、カットレイヤーを高めるほど精度と耐性が向上し、特にMobileNet-V2は耐性と効率性の観点で優れたパフォーマンスを示した。

(b) Server perform MI attack