[논문 리뷰] Defending against Reconstruction Attack in Vertical Federated Learning

Jiankai Sun, Yuanshun Yao외 3명|arXiv (Cornell University)|2021. 07. 21.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 10

한 줄 요약

이 논문은 수직联邦학습(vFL)을 위한 방어 프레임워크인 DRAVL을 제안한다. 이 프레임워크는 적대적 재구성, 노이즈 정규화, 거리 상관계수 최소화를 조합하여 입력 개인정보를 보호한다. 산업 규모의 광고 데이터셋에서 높은 모델 유틸리티를 유지하면서도 입력 재구성 공격을 효과적으로 줄인다.

ABSTRACT

Recently researchers have studied input leakage problems in Federated Learning (FL) where a malicious party can reconstruct sensitive training inputs provided by users from shared gradient. It raises concerns about FL since input leakage contradicts the privacy-preserving intention of using FL. Despite a relatively rich literature on attacks and defenses of input reconstruction in Horizontal FL, input leakage and protection in vertical FL starts to draw researcher's attention recently. In this paper, we study how to defend against input leakage attacks in Vertical FL. We design an adversarial training-based framework that contains three modules: adversarial reconstruction, noise regularization, and distance correlation minimization. Those modules can not only be employed individually but also applied together since they are independent to each other. Through extensive experiments on a large-scale industrial online advertising dataset, we show our framework is effective in protecting input privacy while retaining the model utility.

연구 동기 및 목표

• 공유된 임bedding에서 악성 주도 파티가 민감한 데이터를 유추할 수 있는 수직联邦학습(vFL)에서 입력 재구성 공격에 대한 우려가 증가하고 있는 데 대응한다.
• vFL 환경에서 모델 성능을 훼손하지 않으면서도 입력 개인정보를 보호할 수 있는 방어 프레임워크를 개발한다.
• 독립적이고 모듈화된 구성 요소를 설계하여 공격에 대한 내성을 높이기 위해 개별 또는 병합하여 사용할 수 있도록 한다.
• 실제 세계의 대규모 산업 데이터셋을 대상으로 프레임워크를 평가하여 실용적 효과성과 개인정보 보호 및 유틸리티 간의 트레이드오프를 입증한다.

제안 방법

• 공격자에 의해 입력 복원이 더 어려워지도록, 수동 파티의 모델이 재구성 오차를 최대화하도록 훈련하는 적대적 재구성 모듈을 도입한다.
• 훈련 중 컷 레이어 임베딩에 무작위 노이즈를 추가하여 공격자의 최적화가 무관한 방향으로 향하도록 유도한다.
• 원본 입력과 컷 레이어 임베딩 간의 거리 상관계수를 최소화하여 통계적 의존도를 줄이고 정보 泄露를 제한한다.
• 세 모듈이 상호 독립적이며 조합 가능하도록 설계하여 위협 모델과 개인정보 요구 사항에 따라 영향을 미칠 수 있도록 한다.
• 적대적 훈련, 노이즈 정규화, 거리 상관계수 항목을 포함하는 복합 손실 함수를 사용해 특징 추출기 모델을 훈련한다.
• 수비자(수동 파티)가 시뮬레이션된 공격자(적대적 재구성기)에 대응하여 훈련하는 게임 이론적 시각을 도입하여 모델의 재구성에 대한 내성을 강화한다.

실험 결과

연구 질문

• RQ1 모듈화된, 적대적 훈련 기반 프레임워크는 수직联邦학습에서 입력 재구성 공격을 효과적으로 방어할 수 있는가?
• RQ2 개별 구성 요소인 적대적 재구성, 노이즈 정규화, 거리 상관계수 최소화는 개별적으로나 병합하여 사용할 때 개인정보 보호에 어떻게 기여하는가?
• RQ3 vFL 환경에서 재구성 공격에 대응할 때 개인정보 보호와 모델 유틸리티 사이의 트레이드오프는 어떠한가?
• RQ4 간단한 노이즈 펌터베이션과 비교했을 때, 제안된 프레임워크는 개인정보-유틸리티 균형과 내성에서 어떤가?
• RQ5 방어 프레임워크는 원본 입력과 공유된 임베딩 간의 상관계수를 크게 줄이면서도 높은 모델 성능을 유지할 수 있는가?

주요 결과

• DRAVL 프레임워크는 원본 입력과 컷 레이어 임베딩 간의 거리 상관계수(dCor)를 크게 감소시켜 강력한 개인정보 보호 효과를 입증한다.
• 기본 모델 대비 DRAVL은 입력 재구성에서 더 낮은 평균 제곱 오차(MSE)를 기록하여 공격 성공률이 감소했음을 시사한다.
• 강력한 개인정보 보호 조건에서도 AUC 값이 기본 모델과 유사하게 유지되어 높은 모델 유틸리티를 확보한다.
• 단순한 가우시안 노이즈 주입과 비교해 DRAVL은 더 나은 개인정보-유틸리티 균형을 달성하며, 모델 성능 저하 없이 dCor를 더 효과적으로 감소시킨다.
• 세 모듈은 개별 또는 병합하여 사용 가능하며, 병합된 방식이 가장 우수한 종합적 개인정보 보호 효과를 낸다.
• 실험적으로, 펌터베이션 기반 방어의 노이즈 강도를 튜닝하는 것은 DRAVL 프레임워크를 사용하는 것보다 훨씬 어려운데, 이는 DRAVL이 더 안정적이고 효과적인 방어를 제공하기 때문이다.