[논문 리뷰] Practical Privacy Attacks on Vertical Federated Learning

Haiqin Weng, Juntao Zhang외 5명|arXiv (Cornell University)|2020. 11. 18.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 수직联邦학습(VFL) 프로토콜에 대한 두 가지 실용적인 프라이버시 공격—역 곱셈 공격과 역 합 공격—을 제시하며, 암호화된 중간 출력물에서 프로토콜 사양을 위반하지 않고도 기밀 학습 데이터를 재구성할 수 있음을 입증한다. 이 공격들은 효과적이며 탐지하기 어려우며, 최소한의 사전 지식만으로도 작동하여, 효율성 최적화된 VFL 설계가 암호화가 되어 있더라도 심각한 프라이버시 泄露 위험을 초래할 수 있음을 드러낸다.

ABSTRACT

Federated learning (FL) is a privacy-preserving learning paradigm that allows multiple parities to jointly train a powerful machine learning model without sharing their private data. According to the form of collaboration, FL can be further divided into horizontal federated learning (HFL) and vertical federated learning (VFL). In HFL, participants share the same feature space and collaborate on data samples, while in VFL, participants share the same sample IDs and collaborate on features. VFL has a broader scope of applications and is arguably more suitable for joint model training between large enterprises. In this paper, we focus on VFL and investigate potential privacy leakage in real-world VFL frameworks. We design and implement two practical privacy attacks: reverse multiplication attack for the logistic regression VFL protocol; and reverse sum attack for the XGBoost VFL protocol. We empirically show that the two attacks are (1) effective - the adversary can successfully steal the private training data, even when the intermediate outputs are encrypted to protect data privacy; (2) evasive - the attacks do not deviate from the protocol specification nor deteriorate the accuracy of the target model; and (3) easy - the adversary needs little prior knowledge about the data distribution of the target participant. We also show the leaked information is as effective as the raw training data in training an alternative classifier. We further discuss potential countermeasures and their challenges, which we hope can lead to several promising research directions.

연구 동기 및 목표

• 암호화 기반 프로토콜을 사용하고 있음에도 불구하고 실제 수직联邦학습(VFL) 프레임워크에서의 프라이버시 泄露 위험을 조사하는 것.
• 프로토콜 사양을 위반하지 않고도 VFL의 중간 암호화 출력물에서 기밀 학습 데이터를 재구성할 수 있는 실용적 공격을 설계하는 것.
• FATE, PySyft, TF Federated와 같은 널리 사용되는 VFL 프레임워크에서 이러한 공격의 효과성과 탐지 회피 능력을 평가하는 것.
• 유출된 정보가 원본 데이터와 동일한 성능을 내는 대체 분류기 학습에 충분할 정도로 효과적임을 입증하여, 프라이버시 泄露의 심각성을 강조하는 것.
• 잠재적 대응 조치를 논의하고, 더 견고한 프라이버시 보존 VFL 프로토콜을 구축하기 위한 열린 과제를 규명하는 것.

제안 방법

• VFL의 보안 로지스틱 회귀 프로토콜을 대상으로 한 역 곱셈 공격을 설계하여, 기울기 업데이트의 곱셈적 구조를 악용해 기밀 특징을 역으로 분석하는 것.
• XGBoost 기반 보안 부스팅 프로토콜을 대상으로 한 역 합 공격을 개발하여, 중간 출력물의 덧셈적 성격을 활용해 기밀 데이터를 재구성하는 것.
• 공격들을 FATE 프레임워크 내에 구현하여 실제 벤치마크 데이터셋에서 공격의 효과성을 평가하는 것.
• 통계적 및 최적화 기법을 사용하여 원시 데이터에 접근하지 않고도 암호화된 모델 업데이트 집합에서 기밀 특징을 추론하는 것.
• 유출된 정보로 학습된 대체 분류기의 성능이 원본 데이터로 학습한 모델과 유사한 성능을 내도록 검증하여, 복구된 데이터의 높은 유용성을 입증하는 것.
• 공격이 프로토콜 사양을 준수하고 모델 정확도를 떨어뜨리지 않도록 보장하여, 탐지 기반 메커니즘으로부터 회피 가능한 방식으로 작동하도록 하는 것.

실험 결과

연구 질문

• RQ1 암호화된 중간 출력물에서 수직联邦학습(VFL)에서 기밀 학습 데이터를 재구성할 수 있는가, 즉 프로토콜가 기밀 보장을 위해 설계되어 있더라도 말이다?
• RQ2 신뢰할 수 있는 코ordinating 기관이 암호 해독 키를 보유할 경우, 효율성 최적화된 VFL 프로토콜가 얼마나 심각하게 데이터 프라이버시를 침해하는가?
• RQ3 최소한의 데이터 분포에 대한 사전 지식으로도 역 곱셈 및 역 합 공격이 기밀 특징을 얼마나 효과적으로 복원할 수 있는가?
• RQ4 이러한 공격을 통해 유출된 정보가 고성능 대체 분류기를 학습하는 데 충분한가, 이는 실제 세계의 프라이버시 위험을 시사하는가?
• RQ5 이러한 공격에 대응하는 데 실질적인 과제는 무엇이며, 더 안전한 VFL 시스템을 구축하기 위한 새로운 연구 방향은 무엇인가?

주요 결과

• 역 곱셈 공격은 암호화된 기울기의 곱셈적 구조를 악용하여, 로지스틱 회귀 기반 VFL에서 기밀 특징을 성공적으로 복원한다.
• 역 합 공격은 중간 출력물의 덧셈적 성격을 분석하여, 암호화되어 있더라도 XGBoost 기반 VFL에서 기밀 특징을 재구성한다.
• 두 공격 모두 효과적이다—벤치마크 데이터셋에서 유출된 데이터를 사용해 대체 분류기를 학습했을 때 원본 데이터로 학습한 모델과 유사한 성능을 달성한다.
• 공격은 회피성이 높다—프로토콜 사양을 위반하지 않으며, 대상 모델의 정확도를 떨어뜨리지 않는다.
• 공격은 대상 참가자의 데이터 분포에 대한 최소한의 사전 지식만으로도 작동하여, 실질적인 기업 협업 환경에서 실용적이다.
• 결과적으로 효율성 중심의 VFL 설계는 종단 간 암호화가 되어 있더라도 의도치 않게 프라이버시 위험을 증가시킬 수 있음을 시사한다.