[논문 리뷰] ExPLoit: Extracting Private Labels in Split Learning

Sanjay Kariyappa, Moinuddin K. Qureshi|arXiv (Cornell University)|2021. 11. 25.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

ExPLoit는 표본 레이블 유출 공격로, 분할 학습 환경에서 공격자가 표본 소유자의 비공개 레이블을 추출할 수 있도록 하는 공격 기법이다. 이 공격는 대체 모델과 새로운 손실 함수를 사용하여 과제를 감독 학습 문제로 재정의하며, 기울기 일치와 데이터/모델 정규화를 조합한다. 이 공격는 최대 99.96%의 레이블 유출 정확도를 기록하여, 분할 학습이 레이블 기밀 보호에 거의 기여하지 못함을 입증한다.

ABSTRACT

Split learning is a popular technique used for vertical federated learning (VFL), where the goal is to jointly train a model on the private input and label data held by two parties. This technique uses a split-model, trained end-to-end, by exchanging the intermediate representations (IR) of the inputs and gradients of the IR between the two parties. We propose ExPLoit - a label-leakage attack that allows an adversarial input-owner to extract the private labels of the label-owner during split-learning. ExPLoit frames the attack as a supervised learning problem by using a novel loss function that combines gradient-matching and several regularization terms developed using key properties of the dataset and models. Our evaluations show that ExPLoit can uncover the private labels with near-perfect accuracy of up to 99.96%. Our findings underscore the need for better training techniques for VFL.

연구 동기 및 목표

• 분할 학습이 레이블 소유자가 보유한 비공개 레이블에 대해 의미 있는 기밀 보장을 제공하는지 조사한다.
• 공격자가 분할 학습 과정에서 레이블 소유자의 비공개 레이블을 추출할 수 있는 실용적인 공격 기법을 개발한다.
• 이러한 레이블 유출 공격에 대비한 기울기 노이즈의 방어 기법의 효과를 평가한다.
• 기존 분할 학습 프로토콜이 레이블 기밀 보호를 실패함을 입증하고, 개선된 수직 연합 학습 기법의 필요성을 제기한다.

제안 방법

• ExPLoit는 레이블 소유자의 모델과 비공개 레이블을 학습 가능한 대체 모델과 대체 레이블로 대체하여 공격를 감독 학습 문제로 재정의한다.
• 공격는 기울기 일치, 레이블 사전 분포 일치, 레이블 엔트로피 최소화, 예측 정확도 목표를 조합한 새로운 손실 함수를 사용한다.
• 대체 매개변수는 분할 학습 과정에서 교환되는 중간 표현(Intermediate Representations, IRs)과 기울기를 활용하여 학습되며, {z_i, ∇_z L_i} 쌍의 전체 집합을 활용한다.
• 대체 레이블이 진짜 레이블 분포를 반영하고, 낮은 엔트로피(강한 레이블)를 가지도록 레이블 사전 및 엔트로피 제약 조건을 통한 정규화를 시행한다.
• 기울기 충실도, 레이블 분포 일치, 모델 정확도를 균형 잡는 복합 손실 함수를 최적화하여 공격를 최적화한다.
• 방어 기법 평가를 위해 기울기에 노이즈를 추가(η ~ N(0, σ))하고, 다양한 데이터셋에서의 유틸리티-기밀 보장 간 상호 보완 관계를 분석한다.

실험 결과

연구 질문

• RQ1 두 명의 참여자로 구성된 분할 학습 환경에서 공격자가 레이블 소유자의 비공개 레이블을 추출할 수 있는가?
• RQ2 제안된 ExPLoit 공격는 다양한 데이터셋에서 분할 학습 환경의 레이블 기밀 보호에 얼마나 심각하게 영향을 미치는가?
• RQ3 기울기 노이즈가 레이블 유출 공격을 완화하는 데 얼마나 효과적인가? 그리고 그로 인한 유틸리티-기밀 보장 간 상호 보완 관계는 어떠한가?
• RQ4 기존의 레이블 유출 공격에 비해 ExPLoit는 성능 면에서 얼마나 뛰어나게 작동하는가?

주요 결과

• ExPLoit는 MNIST, FashionMNIST, CIFAR-10, CIFAR-100, Criteo 전환 예측 작업 등 다양한 데이터셋에서 최대 99.96%의 레이블 유출 정확도를 기록한다.
• 최근의 레이블 유출 공격에 비해 최대 67.2% 높은 유출 정확도를 기록하여, 공격의 우수성을 입증한다.
• MNIST에서는 기울기 노이즈 방어로 레이블 유출 정확도가 77% 감소했고, 테스트 정확도는 단지 4% 감소하여 단순한 데이터셋에선 유리한 유틸리티-기밀 보장 균형을 확보한다.
• CIFAR-10 및 CIFAR-100과 같은 복잡한 데이터셋에선 동일한 방어 기법으로 테스트 정확도가 38% 감소하고 레이블 유출은 79% 감소하여 복잡한 모델에선 실용성이 떨어진다.
• 기울기 노이즈 방어는 중간 표현의 품질을 떨어뜨려 K-Means 및 모델 복원 공격 등의 다른 공격의 효과를 저하시키지만, ExPLoit는 복잡한 데이터셋에서도 여전히 더 효과적이다.
• UnSplit 공격는 기울기 노이즈 적용 후에도 여전히 효과가 없으며, 이는 노이즈가 모든 공격 벡터를 완전히 무력화하지 못함을 시사한다.