[논문 리뷰] On the Importance of Difficulty Calibration in Membership Inference Attacks

Lauren Watson, Chuan Guo외 2명|arXiv (Cornell University)|2021. 11. 15.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 동일한 데이터 분포에서 학습된 기준 모델의 소속 점수와 비교하여 샘플의 소속 점수를 보정함으로써 소속성 추론 공격에서 거짓 양성률을 감소시키는 어려움 캘리브레이션을 소개한다. 이 방법은 정확도를 희생시키지 않은 채 공격의 정밀도와 AUC를 크게 향상시켜, 대부분의 샘플이 비회원인 실제 환경에서 공격의 신뢰성을 높인다.

ABSTRACT

The vulnerability of machine learning models to membership inference attacks has received much attention in recent years. However, existing attacks mostly remain impractical due to having high false positive rates, where non-member samples are often erroneously predicted as members. This type of error makes the predicted membership signal unreliable, especially since most samples are non-members in real world applications. In this work, we argue that membership inference attacks can benefit drastically from \\emph{difficulty calibration}, where an attack's predicted membership score is adjusted to the difficulty of correctly classifying the target sample. We show that difficulty calibration can significantly reduce the false positive rate of a variety of existing attacks without a loss in accuracy.

연구 동기 및 목표

• 기존 소속성 추론 공격에서 높은 거짓 양성률(FPR)이 발생하는 문제를 해결함으로써, 대부분의 샘플이 비회원인 실제 환경에서의 신뢰성을 떨어뜨리는 문제를 해결하고자 한다.
• 소속자와 비소속자 간의 소속 점수 분포가 겹치는 것이 점수 기반 공격에서 높은 FPR의 주요 원인임을 입증하고자 한다.
• 어려움 캘리브레이션을 일반화된 기법으로 제안하여, 동일한 데이터 분포에서 학습된 기준 모델과의 비교를 통해 샘플의 점수를 측정함으로써 소속성 추론의 신뢰성을 향상시키고자 한다.
• 캘리브레이션된 공격가 비회원 비율이 낮은 상황에서도 진정 양성률과 거짓 양성률 간의 우월한 트레이드오프를 달성함을 보여주고자 한다.
• 다양한 소속 점수 함수(신뢰도, 손실, 기울기 노름)와 벤치마크 데이터셋을 통해 어려움 캘리브레이션의 효과를 평가하고자 한다.

제안 방법

• 어려움 캘리브레이션은 동일한 데이터 분포에서 학습된 기준 모델의 점수와 비교하여 타겟 모델의 소속 점수를 조정함으로써, 해당 샘플에 대해 타겟 모델이 일반 모델보다 얼마나 더 어려운지 측정한다.
• 기준 모델을 학습하기 위해 '기억 상실을 통한 캘리브레이션' 기법을 사용하여 특정 데이터 포인트를 잊게 함으로써 기준 어려움을 효율적이고 정확하게 추정할 수 있다.
• 각 샘플에 대해 캘리브레이션된 소속 점수는 타겟 모델의 점수와 기준 모델의 평균 점수의 차이로 계산되며, 이는 소속자와 비소속자 분포 간의 분리도 향상시킨다.
• 이 기법은 다양한 점수 함수(신뢰도, 음의 손실, 기울기 노름)에 적용되어 광범위한 적용 가능성을 입증한다.
• ROC 곡선과 정밀도-재현율 곡선을 사용하여 평가되며, 진정 양성률과 거짓 양성률 간의 트레이드오프를 정량화하기 위해 AUC가 사용된다.
• 백색 상자 액세스가 가능한 경우 계산적으로 효율적이며, 신경망의 치명적 기억 상실 현상을 활용하여 기준 모델을 다시 훈련하지 않아도 된다.

실험 결과

연구 질문

• RQ1 어려움 캘리브레이션은 공격 정확도를 저하시키지 않은 채 소속성 추론 공격의 거짓 양성률을 상당히 감소시킬 수 있는가?
• RQ2 낮은 소속자 대 비소속자 비율을 가진 현실적인 데이터 분포 하에서 캘리브레이션된 공격과 비캘리브레이션된 공격의 성능는 어떻게 비교되는가?
• RQ3 어려움 캘리브레이션은 소속성 추론 공격에서 정밀도와 재현율 간의 트레이드오프를 어느 정도 향상시키는가?
• RQ4 기준 모델의 수와 그 훈련 데이터 크기의 변화가 캘리브레이션된 공격의 성능에 어떤 영향을 미치는가?
• RQ5 특히 비밀성 파rameter ε가 큰 경우, 캘리브레이션된 공격는 차등적 비밀보장 모델에 대해 여전히 성공할 수 있는가?

주요 결과

• 어려움 캘리브레이션은 공격 정확도를 유지하거나 향상시키면서도 소속성 추론 공격의 거짓 양성률을 감소시켜 실제 환경에서의 공격 신뢰성을 높인다.
• 캘리브레이션된 손실 점수 공격는 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 비캘리브레이션 공격 대비 최대 0.10의 AUC 향상을 달성한다.
• 낮은 소속자 대 비소속자 비율(예: 1:100)에서도 캘리브레이션된 공격는 낮은 재현율에서 높은 정밀도(예: >0.9)를 유지하지만, 비캘리브레이션 공격는 높은 정밀도를 확보하지 못한다.
• 기준 모델의 수와 훈련 데이터 크기를 늘일수록 AUC와 정확도가 모두 향상되며, 기준 모델 수를 1에서 10으로 늘일 경우 AUC는 최대 0.05, 정확도는 최대 0.03 향상된다.
• ε가 큰(예: ε=1000) 차등적 비밀보장 모델에 대해서도 캘리브레이션된 공격는 여전히 의미 있는 정밀도와 재현율을 달성하지만, 비캘리브레이션 공격는 동일한 조건에서 심각하게 성능이 떨어진다.
• ε=1000인 DP 환경에서 성공적으로 추론된 샘플을 수동으로 점검한 결과 명백한 패턴이 없었으며, 이는 취약성이 극단적 외곽점에 국한되지 않고 미세한 기억 효과에서 기인할 수 있음을 시사한다.