[논문 리뷰] RelaxLoss: Defending Membership Inference Attacks without Losing Utility

Dingfan Chen, Ning Yu외 1명|arXiv (Cornell University)|2022. 07. 12.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 멤버십 유추 공격(MIA)에 대한 취약성을 줄이기 위해 목표 학습 손실을 의도적으로 완화시켜 학습 손실 및 테스트 손실 분포 간의 일반화 갭을 좁히는 새로운 방어 프레임워크인 RelaxLoss를 제안한다. 이러한 분포들 간의 구별 가능성을 최소화함으로써 RelaxLoss는 블랙박스 및 화이트박스 공격을 포함한 다양한 MIA에 효과적으로 대응할 수 있으며, 모델 유틸리티를 유지하거나 향상시키며 다섯 가지 다양한 데이터셋에서 최신 기법들을 능가한다.

ABSTRACT

As a long-term threat to the privacy of training data, membership inference attacks (MIAs) emerge ubiquitously in machine learning models. Existing works evidence strong connection between the distinguishability of the training and testing loss distributions and the model's vulnerability to MIAs. Motivated by existing results, we propose a novel training framework based on a relaxed loss with a more achievable learning target, which leads to narrowed generalization gap and reduced privacy leakage. RelaxLoss is applicable to any classification model with added benefits of easy implementation and negligible overhead. Through extensive evaluations on five datasets with diverse modalities (images, medical data, transaction records), our approach consistently outperforms state-of-the-art defense mechanisms in terms of resilience against MIAs as well as model utility. Our defense is the first that can withstand a wide range of attacks while preserving (or even improving) the target model's utility. Source code is available at https://github.com/DingfanChen/RelaxLoss

연구 동기 및 목표

• 의료 및 금융과 같은 민감한 도메인에 배포된 딥러닝 모델에서 지속적인 개인정보 유출 위협인 멤버십 유추 공격(MIA)을 해결하기 위해.
• MIA 성공의 핵심 요인인 학습 손실 및 테스트 손실 분포 간의 구별 가능성을 줄이기 위해.
• 다양한 MIA에 강력한 저항성을 제공하면서도 모델 유틸리티를 유지하거나 향상시키는 방어 메커니즘을 개발하기 위해.
• 차별적 프라이버시(DP)와 같은 기존 방어 기법의 한계를 극복하기 위해(예: 유틸리티 저하), 그리고 적대적 훈련과 같은 공격 모델이 사전에 알려져 있음을 가정하는 기법의 한계를 극복하기 위해.
• 모델 아키텍처를 수정하지 않고도 간편하게 통합 가능한 간단하고 즉각 적용 가능한 방어 기법을 제공하기 위해.

제안 방법

• 학습 손실을 더 달성 가능한 수준으로 조정함으로써 학습 및 테스트 손실 분포 간 격차를 줄이는 RelaxLoss를 도입하는 훈련 프레임워크를 제안한다.
• Yeom 등(2018)이 보여준 바와 같이, 학습 손실과 테스트 손실 간의 큰 격차가 멤버십 프라이버시 위험을 증가시킨다는 통찰을 활용한다.
• 베이지안 최적 공격자 모델을 사용하여 방어를 수식화함으로써, 손실 분포 간의 산란도를 최소화하면 공격 성공률이 감소함을 보여준다.
• 모델 아키텍처를 수정하지 않고도 기존 파ip라인에 쉽게 통합할 수 있도록 훈련 중에 완화된 손실을 적용한다.
• 완화 정도를 제어하는 하이퍼파라미터를 사용하여 프라이버시와 유틸리티 간의 균형을 조절한다.
• RelaxLoss가 학습 손실의 분산을 증가시키고 멤버 및 비멤버 손실 분포 간 겹침 갭을 줄임으로써 MIA의 효과를 떨어뜨림을 입증한다.

실험 결과

연구 질문

• RQ1 모델 유틸리티를 저하시키지 않고도 방어 기법이 멤버십 유추 공격 성공률을 줄일 수 있는가?
• RQ2 학습 및 테스트 손실 간의 일반화 갭을 좁히는 것이 MIA 취약성에 얼마나 기여하는가?
• RQ3 간단하고 유틸리티 유지 기반의 방어 기법이 다양한 데이터 모odal 및 공격 유형에 일반화 가능한가?
• RQ4 라벨 스무딩, DP-SGD, 적대적 정규화와 같은 최신 기법들과 비교해 RelaxLoss는 프라이버시-유틸리티 트레이드오프에서 어떻게 성과를 내는가?
• RQ5 블랙박스 및 화이트박스 멤버십 유추 공격 모두에서 완화된 손실 접근법이 여전히 효과적인가?

주요 결과

• CIFAR-10, Texas100, Purchase100를 포함한 모든 다섯 데이터셋에서 블랙박스 및 화이트박스 공격 조건 하에서 RelaxLoss는 공격 AUC를 근사적으로 랜덤 추측 수준(≈0.5)으로 지속적으로 낮춘다.
• Texas100 및 Purchase100에서 RelaxLoss는 라벨 스무딩보다 우월한 성능을 보이며, 라벨 스무딩은 강력한 공격 조건 하에서 AUC 감소가 0.55–0.8 범위에 머물며 랜덤 추측 수준에 도달하지 못한다.
• DP-SGD는 모순된 결과를 보인다: 작은 노이즈 스케일은 공격 AUC를 감소시키지만 이론적 프라이버시 보장은 약하며, 더 큰 스케일은 유틸리티를 심각하게 떨어뜨린다—이를 통해 이론과 실천 간 격차가 드러난다.
• 드롭아웃, 가중치 감소와 같은 정규화 방법과 달리, RelaxLoss는 효과적으로 학습 손실의 분산을 증가시키고 멤버 및 비멤버 손실 분포 간 겹침 갭을 줄여 우수한 방어 성능의 이유를 설명한다.
• 모든 데이터셋에서 RelaxLoss는 유틸리티를 향상시키거나 유지하는 반면, DP-SGD 및 적대적 방어 기법들은 일관되게 유틸리티를 저하시킨다.
• 이 방법은 보편적으로 적용 가능하며 구현 오버헤드가 최소이므로, 개인정보가 민감한 응용 분야에서의 실질적 배포에 매우 실용적이다.