[논문 리뷰] Quantifying Privacy Risks of Masked Language Models Using Membership Inference Attacks

Fatemehsadat Mireshghallah, Kartik Goyal외 3명|arXiv (Cornell University)|2022. 03. 08.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 마스킹된 언어 모델(Masked Language Models, MLMs)의 개인정보 유출 위험을 정량화하기 위해 가능도 비율 기반의 소유자 식별 공격을 제안한다. 참고용 MLM을 사용하여 학습 데이터의 기억된 사례를 더 잘 탐지한다. 이전의 손실 기반 방법과 달리, 임상용 MLM에서 AUC 0.90을 달성하여 이전 최고 성능인 AUC 0.66보다 뚜렷하게 높으며, 이는 MLM이 기억을 통한 개인정보 유출에 매우 취약하다는 것을 보여준다.

ABSTRACT

The wide adoption and application of Masked language models~(MLMs) on sensitive data (from legal to medical) necessitates a thorough quantitative investigation into their privacy vulnerabilities -- to what extent do MLMs leak information about their training data? Prior attempts at measuring leakage of MLMs via membership inference attacks have been inconclusive, implying the potential robustness of MLMs to privacy attacks. In this work, we posit that prior attempts were inconclusive because they based their attack solely on the MLM's model score. We devise a stronger membership inference attack based on likelihood ratio hypothesis testing that involves an additional reference MLM to more accurately quantify the privacy risks of memorization in MLMs. We show that masked language models are extremely susceptible to likelihood ratio membership inference attacks: Our empirical results, on models trained on medical notes, show that our attack improves the AUC of prior membership inference attacks from 0.66 to an alarmingly high 0.90 level, with a significant improvement in the low-error region: at 1% false positive rate, our attack is 51X more powerful than prior work.

연구 동기 및 목표

• 마스킹된 언어 모델(MLMs)에 대한 이전의 소유자 식별 공격가 손실만을 기반으로 해서, 본질적인 샘플 복잡도와 진정한 기억의 차이를 구분하지 못해 결과가 모호했던 문제를 해결하기 위해.
• 기본 모델의 가능도 비율을 校정하기 위해 참고용 MLM을 도입함으로써 더 정확한 소유자 식별 공격을 개발하기 위해.
• 의사결정적 통계적 가설 검정을 사용하여, 의료 기록과 같은 민감한 데이터를 학습한 MLM에서의 기억 정도를 원칙적으로 정량화하기 위해.
• 공격 성공도에 영향을 미치는 데이터 특성(예: 문장 부호 밀도)을 특정하기 위해.
• MLM의 개인정보 유출 위험을 감시할 수 있는 프레임워크를 제공하고, 강건한 개인정보 보호 학습 방법 설계에 기여하기 위해.

제안 방법

• 공격은 타겟 MLM과 기초 데이터 분포에서 학습된 참고용 MLM 간의 가능도 비율 가설 검정을 사용하여, 샘플이 학습 데이터 세트에 속할 가능성이 있는지 평가한다.
• MLM을 에너지 기반 확률 모델로 간주하여, 비확률적 성격에도 불구하고 가능도 계산이 가능하게 하며, 에너지 함수를 사용해 시퀀스 확률을 추정한다.
• 가능도 비율은 타겟 모델 하에서 샘플의 가능도를 참고 모델 하에서의 가능도로 나누어 계산되며, 校정된 검정 통계량을 제공한다.
• 공격는 MIMIC-III 및 i2b2 의료 노트 데이터셋에 맞춤형으로 조정된 ClinicalBERT-Base 모델을 대상으로 평가되었으며, AUC와 고정된 거짓 경고 비율에서의 진짜 양성 비율을 지표로 사용하였다.
• 참고 모델은 타겟 모델의 학습 데이터와 겹치지 않지만 분포적으로 유사한 데이터 부분집합에서 학습되어, 인구 분포를 반영하면서도 타겟 모델의 학습 데이터를 기억하지 않도록 보장한다.
• 이 프레임워크는 모델 크기, 시퀀스 길이, 데이터 특성(예: 문장 부호)이 공격 성공에 미치는 영향을 분석하는 데 적용되었다.

실험 결과

연구 질문

• RQ1 마스킹된 언어 모델은 얼마나 많은 개별 학습 샘플을 기억하는가? 그리고 모델 손실에만 의존하지 않고 어떻게 정확하게 측정할 수 있는가?
• RQ2 기본 모델을 사용한 가능도 비율 검정은 손실 기반 기준 대비 MLM에 대해 소유자 식별 공격 성능을 뚜렷이 향상시킬 수 있는가?
• RQ3 어떤 데이터 특성(예: 길이, 문장 부호, 복잡도)이 MLM에서 소유자 식별 공격에 더 취약하게 만들까?
• RQ4 모델 크기와 시퀀스 길이는 가능도 비율 기반의 소유자 식별 공격 성공도에 어떤 영향을 미치는가?
• RQ5 이러한 발견은 임상 기록과 같은 민감한 데이터를 사용해 미세조정된 MLM의 개인정보 보호에 어떤 함의를 갖는가?

주요 결과

• 제안된 가능도 비율 기반의 소유자 식별 공격은 MIMIC-III에 맞춤형으로 조정된 ClinicalBERT-Base 모델에서 AUC 0.90을 달성하였으며, 이는 이전의 손실 기반 방법이 달성한 0.66 AUC보다 뚜렷한 향상이다.
• 거짓 경고 비율이 10%일 때, 공격는 진짜 양성 비율 79.2%를 기록하였고, 기준 방법은 단지 15.6%에 그쳤다. 이는 탐지 능력이 크게 향상되었음을 시사한다.
• 낮은 오류 범위(1% 거짓 경고 비율)에서 공격는 이전의 손실 기반 접근보다 51배 더 강력한 것으로 나타났다. 이는 어렵게 탐지되는 샘플에 대해서도 효과적이라는 것을 보여준다.
• 비알파벳숫자 문자(예: 문장 부호)를 여러 개 포함한 샘플은 기억에 더 취약하며, 따라서 소유자 식별 공격에 더 취약하다.
• 이 연구는 민감한 데이터를 학습한 MLM이 개인정보 유출에 매우 취약하다는 것을 입증하였으며, 이는 이전에 자동회귀 모델보다 더 개인정보 보호에 유리하다고 주장한 바와 정반대된다.
• 결과는 개인 데이터 기록을 보호하기 위해 차등적 프라이버시와 같은 개인정보 보호 학습 기법의 긴급한 필요성을 강조한다.