[논문 리뷰] Privacy Leakage of Real-World Vertical Federated Learning.

Haiqin Weng, Juntao Zhang외 4명|arXiv (Cornell University)|2020. 11. 18.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 27

한 줄 요약

이 논문은 프로토콜을 준수하는 정직하지만 호기심 많은 악성 행위자 조건에서도 수직联邦학습(VFL) 시스템이 사생활 유출 공격에 취약하다는 점을 드러낸다. 저자들은 모델 업데이트로부터 사생활 학습 데이터를 재구성하되, 모델 정확도에 영향을 주지 않거나 프로토콜 규칙을 위반하지 않는 두 가지 효율적이고 비침습적인 공격—역합산 및 역곱셈 공격—을 설계하였다.

ABSTRACT

Federated learning enables mutually distrusting participants to collaboratively learn a distributed machine learning model without revealing anything but the model's output. Generic federated learning has been studied extensively, and several learning protocols, as well as open-source frameworks, have been developed. Yet, their over pursuit of computing efficiency and fast implementation might diminish the security and privacy guarantees of participant's training data, about which little is known thus far. In this paper, we consider an honest-but-curious adversary who participants in training a distributed ML model, does not deviate from the defined learning protocol, but attempts to infer private training data from the legitimately received information. In this setting, we design and implement two practical attacks, reverse sum attack and reverse multiplication attack, neither of which will affect the accuracy of the learned model. By empirically studying the privacy leakage of two learning protocols, we show that our attacks are (1) effective - the adversary successfully steal the private training data, even when the intermediate outputs are encrypted to protect data privacy; (2) evasive - the adversary's malicious behavior does not deviate from the protocol specification and deteriorate any accuracy of the target model; and (3) easy - the adversary needs little prior knowledge about the data distribution of the target participant. We also experimentally show that the leaked information is as effective as the raw training data through training an alternative classifier on the leaked information. We further discuss potential countermeasures and their challenges, which we hope may lead to several promising research directions.

연구 동기 및 목표

• 정직하지만 호기심 많은 악성 행위자가 프로토콜 규칙을 준수하는 조건에서 수직联邦학습의 사생활 보장이 손상되는지 조사하기 위해.
• 모델 정확도를 변화시키지 않고 중간 모델 업데이트를 악용하여 사생활 학습 데이터를 재구성하는 실용적인 공격을 설계하기 위해.
• 중간 출력이 암호화된 경우에도 이러한 공격의 효과성을 평가하기 위해.
• 유출된 정보가 후속 학습 작업에 대해 원본 학습 데이터만큼 유용한지 평가하기 위해.
• 이러한 프로토콜 준수 사생활 공격에 대비한 방어의 과제를 식별하고 향후 사생활 보존 VFL 프로토콜의 방향을 제안하기 위해.

제안 방법

• 수직联邦학습에서 모델 기울기 또는 업데이트의 집합을 뒤집어 입력 특징을 복원하는 역합산 공격을 설계하기 위해.
• 일부 VFL 프로토콜에서 모델 업데이트의 곱셈적 구조를 활용하여 사생활 데이터를 추론하는 역곱셈 공격을 개발하기 위해.
• 표준 프로토콜 제약 조건 하에서 실세계 VFL 프레임워크에 두 공격을 구현하여 실현 가능성과 효과성을 평가하기 위해.
• 암호화된 중간 출력을 실험에 적용하여 암호화만으로도 데이터 재구성 방지가 가능한지 테스트하기 위해.
• 유출된 데이터를 바탕으로 서피스 분류기를 훈련시켜 원본 학습 데이터와의 성능 비교를 통해 유용성을 검증하기 위해.
• 데이터 분포에 대한 최소한의 사전 지식으로도 공격 성공 가능성을 분석하여 보조 정보에 대한 의존도가 낮음을 입증하기 위해.

실험 결과

연구 질문

• RQ1 정직하지만 호기심 많은 악성 행위자가 수직联邦학습에서 합법적인 모델 업데이트로부터 사생활 학습 데이터를 재구성할 수 있는가?
• RQ2 중간 모델 출력이 암호화된 경우에도 이러한 공격이 여전히 효과적인가?
• RQ3 이러한 공격을 성공적으로 수행하기 위해 데이터 분포에 대한 얼마나 많은 사전 지식이 필요한가?
• RQ4 이러한 공격으로 유출된 정보는 원본 데이터로 훈련된 분류기와 유사한 성능을 내기 충분한가?
• RQ5 이러한 프로토콜 준수 사생활 공격에 대비하는 데 있어 근본적인 과제는 무엇인가?

주요 결과

• 역합산 및 역곱셈 공격는 중간 출력이 암호화된 경우조차도 수직联邦학습의 모델 업데이트로부터 사생활 학습 데이터를 성공적으로 재구성한다.
• 이 공격들은 프로토콜 사양을 위반하지 않으며 최종 모델의 정확도를 떨어뜨리지 않는다.
• 악성 행위자는 데이터 분포에 대한 최소한의 사전 지식만으로도 공격를 수행할 수 있어 실용적이고 광범위하게 적용 가능하다.
• 유출된 데이터는 벤치마크 데이터셋에서 원본 학습 데이터로 훈련된 분류기와 비교해 유사한 성능을 보이며, 후속 학습에 동일하게 효과적이다.
• 기존의 중간 출력 암호화만으로는 이러한 공격 상황에서 사생활 누출을 방지하는 데 부족하다.
• 결과적으로 현재 VFL 보안 모델의 심각한 격차를 드러내며, 단순한 암호화를 넘어서는 새로운 사생활 보존 메커니즘이 필요하다고 제안한다.