[논문 리뷰] Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond

Yuzheng Hu, Tianle Cai외 6명|arXiv (Cornell University)|2022. 07. 19.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 동종 암호화(HE)에 의존하는 수직联邦 학습 프레임워크에서 수직 로지스틱 회귀(VLR)가 작은 배치 크기 조건에서도 레이블 복구 공격에 취약하다는 것을 드러낸다. 저자들은 보조 암호문 압축을 활용한 능동 공격을 제안하여 배치 크기 제약을 완화하고, 개인정보 보호성과 모델 유틸리티를 동시에 확보하는 비차별적 개인정보 보호(DP)-기반 방어 기법을 도입한다. 이는 MNIST 및 신용 데이터셋에서 실험적으로 검증되었다.

ABSTRACT

We consider vertical logistic regression (VLR) trained with mini-batch gradient descent -- a setting which has attracted growing interest among industries and proven to be useful in a wide range of applications including finance and medical research. We provide a comprehensive and rigorous privacy analysis of VLR in a class of open-source Federated Learning frameworks, where the protocols might differ between one another, yet a procedure of obtaining local gradients is implicitly shared. We first consider the honest-but-curious threat model, in which the detailed implementation of protocol is neglected and only the shared procedure is assumed, which we abstract as an oracle. We find that even under this general setting, single-dimension feature and label can still be recovered from the other party under suitable constraints of batch size, thus demonstrating the potential vulnerability of all frameworks following the same philosophy. Then we look into a popular instantiation of the protocol based on Homomorphic Encryption (HE). We propose an active attack that significantly weaken the constraints on batch size in the previous analysis via generating and compressing auxiliary ciphertext. To address the privacy leakage within the HE-based protocol, we develop a simple-yet-effective countermeasure based on Differential Privacy (DP), and provide both utility and privacy guarantees for the updated algorithm. Finally, we empirically verify the effectiveness of our attack and defense on benchmark datasets. Altogether, our findings suggest that all vertical federated learning frameworks that solely depend on HE might contain severe privacy risks, and DP, which has already demonstrated its power in horizontal federated learning, can also play a crucial role in the vertical setting, especially when coupled with HE or secure multi-party computation (MPC) techniques.

연구 동기 및 목표

• 수직 연합 학습 프레임워크에서 동종 암호화(HE)를 사용하는 수직 로지스틱 회귀(VLR)의 개인정보 위험을 분석하는 것.
• 정직하지만 호기심 많은 위협 모델 하에서, 민감한 정보—특히 레이블—이 VLR의 기울기에서 복구될 수 있는지 조사하는 것.
• 보조 암호문 생성 및 압축을 통해 기존의 배치 크기 제약을 우회하는 실용적인 능동 공격을 개발하는 것.
• 개인정보 보호 기반의 경량이지만 효과적인 방어 기법을 설계하여 HE 기반 VLR 프로토콜에서의 개인정보 泄露를 완화하는 것.
• 기본 데이터셋을 대상으로 공격 및 방어의 효과성을 실증적으로 검증하여 현재 HE 전용 VFL 시스템의 취약성을 입증하는 것.

제안 방법

• 정직하지만 호기심 많은 위협 모델에서 VLR의 기울기 계산 단계를 오라클로 추상화하여, 구현 세부 사항이 아닌 공통 프로토콜 행동에 집중한다.
• 보조 암호문 생성 및 압축을 통해 기울기 복구에 필요한 최소 배치 크기를 줄이는 능동 공격을 제안하여 이전의 가정을 완화한다.
• 민감한 기울기의 통신 이전에 노이즈를 주입하여 비차별적 개인정보 보호(DP) 기반의 방어 기법을 도입함으로써, DP 기반의 개인정보 보장 조건을 확보한다.
• DP 파라미터(ε)를 사용하여 개인정보-유틸리티 트레이드오프를 수식화하며, 작은 ε 값(예: ε = 0.2)이라도 MNIST에서 모델 정확도가 90% 이상 유지됨을 보여준다.
• 안정성과 DP와의 호환성을 확보하기 위해 기울기 노름을 유한한 범위(‖θ‖ ≤ 2)로 제한하며, G = 1을 안전 기준으로 설정한다.
• 초기화 방법(영, Xavier, Kaiming)을 비교하여, 작은 초기화 스케일이 레이블 복구 공격에 취약성을 증가시킴을 입증함으로써 DP 방어의 필요성을 정당화한다.

실험 결과

연구 질문

• RQ1 소규모 배치 크기 조건에서도 오직 기울기 오라클만 노출된 상태에서 수직 로지스틱 회귀에서 레이블을 기울기에서 복구할 수 있는가?
• RQ2 암호화된 기울기의 능동적 조작을 통해 레이블 복구 공격에서의 배치 크기 제약을 얼마나 완화할 수 있는가?
• RQ3 HE 기반 VLR 프로토콜에 비차별적 개인정보 보호를 추가하면 레이블 복구를 효과적으로 방지하면서도 모델 유틸리티를 유지할 수 있는가?
• RQ4 다양한 가중치 초기화 방법이 VLR에서 레이블 복구 공격의 가능성과 성공률에 어떤 영향을 미치는가?
• RQ5 HE와 DP를 융합한 하이브리드 프로토콜은 수직 연합 학습에서 HE 전용 시스템보다 더 강력한 개인정보 보호 보장을 달성할 수 있는가?

주요 결과

• HE 기반 VLR에서 방어 조치가 없을 경우, 영 초기화 조건에서 소규모 배치 크기 조건에서도 MNIST 및 신용 데이터셋에서 레이블 복구 공격의 성공률가 100%에 도달한다.
• 보조 암호문 압축을 통한 제안된 능동 공격은 레이블 복구에 필요한 최소 배치 크기를 감소시켜 이전에는 비가능하다고 여겨졌던 조건에서도 공격 가능성을 높인다.
• 비차별적 개인정보 보호(ε = 0.2)를 적용할 경우, 레이블 복구 성공률는 약 50%로 감소하며, 이는 랜덤 추측과 동일한 수준이지만, MNIST에서는 테스트 정확도가 90% 이상 유지된다.
• Xavier 초기화는 특히 신용 데이터셋과 같은 저차원 설정에서 영 초기화보다 수렴 속도가 느리고 레이블 복구 성공률도 낮아진다.
• 모델 파라미터의 노름(‖θ‖)이 훈련 전반에 걸쳐 2 이내로 유지됨을 확인하여, DP 메커니즘에서 G = 1을 사용하는 것이 타당하며 안정성을 보장함을 입증한다.
• 실증 결과는 HE 전용 VLR 프레임워크가 추론 공격에 취약하며, DP 기반 방어가 개인정보 위험을 효과적으로 완화하면서도 모델 유틸리티를 손상시키지 않는다는 점을 확인한다.