[논문 리뷰] Improving Robustness to Model Inversion Attacks via Mutual Information Regularization

Tianhao Wang, Yuheng Zhang외 1명|arXiv (Cornell University)|2020. 09. 11.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 6

한 줄 요약

이 논문은 모델 입력과 예측 간의 상호정보량을 최소화하여 모델 역공학(모델 역공학 공격) 성공률을 낮추는 모델에 종속되지 않는 접근법인 상호정보량 정규화 기반 방어(MID)를 제안한다. MID는 블랙박스 및 WHITELIST 설정 모두에서 선형 모델, 의사결정트리, 신경망을 포함한 다양한 모델에서 최신 기술 수준의 유틸리티-개인정보 보호 트레이드오프를 달성하며, 차분 개인정보 보호 및 모델별 특화 방어 기법보다 뛰어난 성능을 보인다.

ABSTRACT

This paper studies defense mechanisms against model inversion (MI) attacks -- a type of privacy attacks aimed at inferring information about the training data distribution given the access to a target machine learning model. Existing defense mechanisms rely on model-specific heuristics or noise injection. While being able to mitigate attacks, existing methods significantly hinder model performance. There remains a question of how to design a defense mechanism that is applicable to a variety of models and achieves better utility-privacy tradeoff. In this paper, we propose the Mutual Information Regularization based Defense (MID) against MI attacks. The key idea is to limit the information about the model input contained in the prediction, thereby limiting the ability of an adversary to infer the private training attributes from the model prediction. Our defense principle is model-agnostic and we present tractable approximations to the regularizer for linear regression, decision trees, and neural networks, which have been successfully attacked by prior work if not attached with any defenses. We present a formal study of MI attacks by devising a rigorous game-based definition and quantifying the associated information leakage. Our theoretical analysis sheds light on the inefficacy of DP in defending against MI attacks, which has been empirically observed in several prior works. Our experiments demonstrate that MID leads to state-of-the-art performance for a variety of MI attacks, target models and datasets.

연구 동기 및 목표

• 모든 속성을 동시에 보호할 수 있는 일반화 가능하고 높은 유틸리티를 갖춘 모델 역공학(MI) 공격에 대한 방어 기법이 부족한 문제를 해결하기 위해.
• 학습 데이터를 넘어서 분포 기반 개인정보 위험을 체계적으로 정의하여, 동일한 분포에서 온 테스트 데이터에 대한 위협도 인정하기 위해.
• 이론적 보장은 있지만 실질적으로 모델 역공학 공격에 효과가 없는 차분 개인정보 보호(DP)의 원인을 설명하기 위해.
• 모델에 종속되지 않으며, 모델 유틸리티를 희생시키지 않고도 강건성을 향상시키는 실용적인 정규화 방법을 개발하기 위해.

제안 방법

• 예측에 포함된 모델 입력에 대한 정보를 최소화하기 위해 훈련 손실에 상호정보량(MI) 정규화 항을 도입한다.
• 선형 회귀, 의사결정트리, 신경망에 대해 MI 정규화 항의 실용적인 근사치를 개발하여 실제 구현 가능하게 한다.
• 정보 유출 정도를 엄밀하게 측정하고 방어 효과를 평가하기 위해 게임 기반의 모델 역공학 공격 정의를 제안한다.
• 변분 추론과 신경 추정기를 사용하여 손실 함수 내에서 계산이 불가능한 상호정보량 항을 근사한다.
• 정규화된 손실로 모델을 훈련시켜 입력과 출력 간 상관관계를 줄여 악성 공격자의 추론 능력을 제한한다.
• 백서 박스 및 화이트박스 모델 역공학 공격 시나리오 모두에 이 방어 기법을 적용하고, 다양한 데이터셋과 모델 아키텍처에서 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 차분 개인정보 보호(DP)는 이론적으로 개인정보 보호 보장을 하지만 실질적으로 모델 역공학 공격에 실패하는 이유는 무엇인가?
• RQ2 모델에 종속되지 않는 방어 기법을 설계할 수 있는가? 이 기법은 모델 유틸리티를 떨어뜨리지 않으면서도 모델 역공학 공격에 대한 강건성을 향상시킬 수 있는가?
• RQ3 모델 입력과 예측 간 상호정보량이 모델 역공학 공격 성공률과 어떤 관계가 있는가?
• RQ4 상호정보량 기반 정규화가 다양한 모델과 데이터셋에서 개인정보 보호-유틸리티 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ5 모델 역공학 공격의 개인정보 위험은 학습 데이터를 넘어서 동일한 분포에서 온 테스트 데이터까지 확장되는가?

주요 결과

• MID는 블랙박스 및 화이트박스 모델 역공학 공격 모두에서 차분 개인정보 보호(DP)를 크게 능가하며, 특히 높은 모델 유틸리티를 유지할 때 두각한 성능을 보인다.
• 신경망의 경우, MID는 화이트박스 공격(예: GMI)에서 재구성된 이미지의 품질을 거의 무작위 수준으로 낮추지만, DP는 여전히 식별 가능한 얼굴 특징를 유지한다.
• 의사결정트리의 경우, 대부분의 경우 모델 전용 'Priority' 방어보다 MID가 더 뛰어난 강건성을 확보하지만, 모델 성능이 F1 > 0.57를 초과할 경우를 제외하고는 그렇다.
• MID는 예상 캘리브레이션 오차(ECE)를 DP보다 더 효과적으로 줄여, 공격 하에서의 신뢰도 캘리브레이션 수준이 향상됨을 시사한다.
• MID와 DP 모두에서 학습 데이터와 테스트 데이터에 대한 공격 성능이 거의 동일하여, 모델 역공학 공격이 학습 예제뿐 아니라 전체 데이터 분포까지 위협을 가한다는 것을 시사한다.
• 이론적 분석을 통해 DP의 모델 역공학 공격에 대한 비효율성은 높은 노이즈 수준이 개인정보 보호를 위해 필요하지만, 이는 모델 유틸리티를 심각하게 떨어뜨린다는 점에서 기인함을 확인했다.