[논문 리뷰] ResSFL: A Resistance Transfer Framework for Defending Model Inversion Attack in Split Federated Learning

Jingtao Li, Adnan Siraj Rakin외 4명|arXiv (Cornell University)|2022. 05. 09.

Geophysical Methods and Applications인용 수 6

한 줄 요약

ResSFL은 전문 장치에서 MI 공격에 강한 특징 추출기를 훈련한 후 이를 클라이언트에 전달함으로써 Split Federated Learning(SFL)에서 모델 역전환(MI) 공격을 방어하는 이단계 저항 전이 프레임워크이다. VGG-11를 사용하여 CIFAR-100에서 재구성 오차(MSE)를 0.050으로 달성(기본값 0.005 대비)하면서 정확도가 1% 감소하는 데 그치며, 클라이언트 측 계산 부담을 경량 미세조정을 통해 감소시킨다.

ABSTRACT

This work aims to tackle Model Inversion (MI) attack on Split Federated Learning (SFL). SFL is a recent distributed training scheme where multiple clients send intermediate activations (i.e., feature map), instead of raw data, to a central server. While such a scheme helps reduce the computational load at the client end, it opens itself to reconstruction of raw data from intermediate activation by the server. Existing works on protecting SFL only consider inference and do not handle attacks during training. So we propose ResSFL, a Split Federated Learning Framework that is designed to be MI-resistant during training. It is based on deriving a resistant feature extractor via attacker-aware training, and using this extractor to initialize the client-side model prior to standard SFL training. Such a method helps in reducing the computational complexity due to use of strong inversion model in client-side adversarial training as well as vulnerability of attacks launched in early training epochs. On CIFAR-100 dataset, our proposed framework successfully mitigates MI attack on a VGG-11 model with a high reconstruction Mean-Square-Error of 0.050 compared to 0.005 obtained by the baseline system. The framework achieves 67.5% accuracy (only 1% accuracy drop) with very low computation overhead. Code is released at: https://github.com/zlijingtao/ResSFL.

연구 동기 및 목표

• SFL 훈련 중 모델 역전환(MI) 공격에 취약한 점을 해결하기 위해 기존 방어책이 해결하지 못하는 문제를 해결한다.
• 강력한 MI 저항성을 유지하면서도 클라이언트의 계산 부담을 줄인다.
• 초기 훈련 단계에서의 MI 방어 취약점을 극복하기 위해 사전 훈련된 전문 모델에서 클라이언트 모델로 저항성을 전이한다.
• 모델 정확도를 훼손하거나 과도한 FLOPs를 유발하지 않으면서도 효과적인 SFL 내의 MI 저항성을 보장한다.
• SFL의 다양한 아키텍처와 컷레이어 설정에 걸쳐 방어책을 일반화한다.

제안 방법

• 전문 장치에서 공격자 인식 훈련을 수행하며, 중간 활성화에 대해 강력한 역전환 모델을 훈련하여 MI 공격 행동을 모방한다.
• 특징 공간을 축소하고 재구성에 대한 저항을 향상시키기 위해 역전환 모델에 버티컬 레이어를 추가한다.
• 이러한 공격자 인식 훈련을 통해 저항성 있는 특징 추출기를 도출하고, 표준 SFL 훈련 전에 클라이언트 모델을 초기화하는 데 사용한다.
• 클라이언트는 전달된 저항성을 활용해 경량 미세조정을 수행함으로써 계산 비용을 줄이면서도 MI 저항성을 유지한다.
• 저항 전이 메커니즘은 초기 훈련 에포크 동안 보호를 보장하여 모델 수렴 중 데이터 泄露 위험을 완화한다.
• 여러 아키텍처(VGG, ResNet, MobileNet)와 컷레이어 설정에서 평가하여 일반화성과 확장성을 입증한다.

(a) Training process of SFL

실험 결과

연구 질문

• RQ1 전문 기반의 공격자 인식 훈련과 저항 전이를 조합한 이단계 프레임워크가 SFL 훈련 중에 효과적으로 MI 공격을 방어할 수 있는가?
• RQ2 역전환 모델에 버티컬 레이어를 사용할 경우, MI 저항성과 모델 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 저항 전이가 클라이언트 측 계산 부담을 얼마나 줄일 수 있으며, 동시에 강력한 MI 공격 방어를 유지할 수 있는가?
• RQ4 이 프레임워크는 SFL에서 다양한 신경망 아키텍처와 컷레이어 설정에서 어떻게 성능을 발휘하는가?
• RQ5 저항 전이 메커니즘이 SFL의 초기 훈련 취약성에 어떤 영향을 미치는가?

주요 결과

• VGG-11와 컷레이어 2를 사용한 CIFAR-100에서 ResSFL은 모델 역전환 재구성 MSE를 0.050으로 달성하였고, 기본값의 0.005 대비 강력한 데이터 재구성 저항성을 보였다.
• 높은 저항성에도 불구하고 모델은 67.5%의 정확도를 유지하여 기본값의 68.5% 대비 단지 1%의 정확도 감소를 보였다.
• 표준 SFL 대비 클라이언트 측 FLOPs를 27% 감소시키고 파라미터를 20% 감소시켰으며, 전체 FL의 FLOPs의 0.17%에 불과했다.
• 전이 학습을 통해 효과적인 저항 전이가 가능해졌고, 모델이 가장 취약한 초기 훈련 에포크 동안도 공격으로부터 보호되었다.
• 컷레이어 2에서 MobileNet-V2는 매우 낮은 FLOPs(3.7M)로 높은 저항성을 달성하여 다양한 아키텍처에서의 효율성과 확장성을 입증했다.
• 다양한 토폴로지에서 컷레이어를 높일수록 정확도와 저항성이 모두 향상되었으며, 특히 MobileNet-V2는 저항성과 효율성 측면에서 뛰어난 성능을 보였다.

(b) Server perform MI attack