[논문 리뷰] Measuring Data Leakage in Machine-Learning Models with Fisher Information

Awni Hannun, Chuan Guo외 1명|arXiv (Cornell University)|2021. 02. 23.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 15

한 줄 요약

이 논문은 Cramér-Rao 경계를 활용하여 적대자 간의 추론 능력을 제한함으로써, 상관관계를 고려하고 예시별로 측정 가능한 데이터 泄露를 정량화하기 위해 피셔 정보 손실(Fisher Information Loss, FIL)을 제안한다. FIL은 속성 역전환 공격에 대한 취약성을 정확히 포착하며, 반복 재가중 기법(IRFIL)을 통해 모델의 유틸리티를 저하시키지 않은 채 개인 간에 균형 잡힌 프라이버시를 실현할 수 있음을 보여준다.

ABSTRACT

Machine-learning models contain information about the data they were trained on. This information leaks either through the model itself or through predictions made by the model. Consequently, when the training data contains sensitive attributes, assessing the amount of information leakage is paramount. We propose a method to quantify this leakage using the Fisher information of the model about the data. Unlike the worst-case a priori guarantees of differential privacy, Fisher information loss measures leakage with respect to specific examples, attributes, or sub-populations within the dataset. We motivate Fisher information loss through the Cramér-Rao bound and delineate the implied threat model. We provide efficient methods to compute Fisher information loss for output-perturbed generalized linear models. Finally, we empirically validate Fisher information loss as a useful measure of information leakage.

연구 동기 및 목표

• 차등적 프라이버시와 같은 최악의 경우 프라이버시 보장을 고려하지 않는 한계를 해결하기 위해, 개인 또는 집단의 취약성을 반영하지 않는 기존 기법의 한계를 해결한다.
• 자료 상관관계와 다양한 적대자 능력을 반영한, 민감한 예시별 정보 泄露 측정 방법을 유연하게 개발한다.
• 특히 추론 공격에 대한 비균형적인 취약성을 해결함으로써, 하위집단 간에 泄露를 균일화함으로써 프라이버시의 공정성을 확보한다.
• FIL이 속성 역전환 공격 및 멤버십 추론 공격에 대한 민감도를 신뢰할 수 있는 대체 지표로 기능하는지 검증한다.
• 학습 중에 예시 가중치를 조정함으로써 예시 간 피셔 정보 손실을 균형 잡는 반복 재가중 알고리즘(IRFIL)을 설계하고 평가한다.

제안 방법

• 피셔 정보 손실(FIL)은 추정기 분산에 대한 Cramér-Rao 하한의 음의 로그로 정의되며, 특정 데이터 포인트에 대해 모델이 유출할 수 있는 최대 정보를 정량화한다.
• 가우시안 노이즈가 첨가된 출력 편향이 가미된 일반선형 모델에서 FIL에 대한 해석 가능한 폐쇄형 표현식을 유도함으로써 효율적인 계산을 가능하게 한다.
• FIL이 실제 공격 성공률과의 상관관계를 평가하기 위해 화이트박스 및_BLK박스 속성 역전환 공격 프레임워크를 사용한다.
• 피셔 정보 손실에 대한 반복 재가중(IRFIL) 기법을 제안하여 학습 중에 예시 가중치를 조정함으로써 개인 간 泄露를 균형 잡는다.
• Cramér-Rao 경계를 활용하여, 제한된 FIL이 적대자가 기저 데이터 속성을 추정하는 능력을 제한함을 정당화한다.
• 선형 회귀에 L2 정규화와 노이즈 편향을 적용한 네 가지 데이터셋(IWPC, UCI Adult, 및 기타 두 개)에서 실험하여 FIL이 공격 민감도에 얼마나 민감한지 검증한다.

실험 결과

연구 질문

• RQ1 피셔 정보 손실(FIL)은 실제 추론 공격 성공률을 반영하는 정밀한 예시 수준의 정보 泄露 측정 지표로 기능할 수 있는가?
• RQ2 상관관계 있는 학습 데이터와 하위집단의 취약성에 대해 FIL은 차등적 프라이버시와 비교해 어떻게 다루는가?
• RQ3 IRFIL은 모델 유틸리티를 저하시키지 않고도 개인 간 프라이버시 泄露를 효과적으로 균일화하는가?
• RQ4 FIL은 다양한 데이터 서브셋에서 실제 속성 역전환 공격 정확도와 강하게 상관관계를 가지는가?
• RQ5 노이즈 분산과 정규화의 선택이 FIL로 측정된 모델 성능과 프라이버시 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 피셔 정보 손실(FIL)은 속성 역전환 공격에 대한 민감도를 정확히 예측하며, 예시별로 높은 FIL 값일수록 공격 성공률이 높아진다.
• IRFIL은 초기 FIL 값의 10개 구간에 걸친 공격 취약성을 효과적으로 균일화하여 단 10회 반복 후 정확도 격차를 감소시킨다.
• 화이트박스 공격 정확도는 FIL 값과 밀접하게 일치하지만, 블랙박스 공격 정확도는 평균 제곱오차(MSE)와 더 강한 상관관계를 보이며, 이는 FIL이 추론 위험에 특화되어 있음을 시사한다.
• σ = 10⁻³ 및 λ = 10⁻² 설정 시, 화이트박스 및 블랙박스 공격이 효과적으로 억제되며, 동시에 MSE 저하가 낮게 유지된다.
• FIL은 차등적 프라이버시와 달리 자료 상관관계 하에서도 성능이 저하되지 않아, 현실적인 상관관계가 있는 데이터셋에서 더 강건함을 입증한다.
• IRFIL은 초깃값 조정 없이도 빠르고 강건하게 수렴하여, 프라이버시 인식 학습 환경에 실용적으로 구현 가능함을 시사한다.