[논문 리뷰] An Extension of Fano's Inequality for Characterizing Model Susceptibility to Membership Inference Attacks

Sumit Kumar Jha, Susmit Jha외 5명|arXiv (Cornell University)|2020. 09. 17.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN)의 멤버십 인식 공격(MIA)에 대한 성공 확률을 모델 입력과 그 활성화/출력 간의 상호정보량을 사용하여 바운드하는 데 있어 판노의 부등식을 확장한다. 상호정보량이 MIA에 대한 취약성에 강력한 예측 변수로 기능하며, CIFAR-10, SVHN, GTSRB에서 각각 0.966, 0.996, 0.955의 경험적 상관관계를 보임으로써 모델의 프라이버시 평가를 위한 이론적으로 탄탄한 메트릭을 제공한다.

ABSTRACT

Deep neural networks have been shown to be vulnerable to membership inference attacks wherein the attacker aims to detect whether specific input data were used to train the model. These attacks can potentially leak private or proprietary data. We present a new extension of Fano's inequality and employ it to theoretically establish that the probability of success for a membership inference attack on a deep neural network can be bounded using the mutual information between its inputs and its activations. This enables the use of mutual information to measure the susceptibility of a DNN model to membership inference attacks. In our empirical evaluation, we show that the correlation between the mutual information and the susceptibility of the DNN model to membership inference attacks is 0.966, 0.996, and 0.955 for CIFAR-10, SVHN and GTSRB models, respectively.

연구 동기 및 목표

• 개인적 또는 기업 소유의 데이터로 훈련된 딥 뉴럴 네트워크에 대한 멤버십 인식 공격(MIA)이 증가하는 프라이버시 위험을 다루기 위해.
• DNN의 MIA에 대한 취약성 정도를 측정하기 위한 이론적으로 탄탄한 정보이론적 메트릭을 개발하기 위해.
• 모델 입력과 출력/활성화 간의 상호정보량이 MIA 성공 확률의 신뢰할 수 있는 대체 측정치로 기능할 수 있음을 입증하기 위해.
• 모델 개발자와 감사자들이 모델의 강건성을 평가하고 향상시키기 위해 실용적이고 해석 가능한 프라이버시 메트릭을 제공하기 위해.
• 상호정보량 기반 정규화를 통해 프라이버시를 보장하는 DNN 설계를 지원하기 위해.

제안 방법

• 입력과 모델 출력/활성화 간의 상호정보량을 사용하여 멤버십 인식 공격의 성공 확률을 바운드하는 데 있어 판노의 부등식의 새로운 확장 기법을 제안한다.
• 조건부 엔트로피와 상호정보량에 의존하는 공격 성공 확률에 대한 하한을 유도하며, 상호정보량을 핵심 설계 매개변수로 삼는다.
• 모델의 상위 레이어 활성화 또는 기울기와 입력 간의 상호정보량을 MIA에 대한 모델 취약성에 대한 측정 가능한 메트릭으로 활용한다.
• 최근의 미분 가능한 상호정보량 추정 기법의 발전을 활용하여 실무에서 메트릭을 계산하기 위해 신경망 기반 상호정보량 추정기법을 사용한다.
• 다양한 벤치마크에서 상호정보량과 실제 공격 성공률 간의 상관관계를 평가하기 위해 블랙박스 및 WHITELIST MIA 설정을 활용한다.
• CIFAR-10, SVHN, GTSRB 데이터셋에서 경험적 MIA 성공률와 비교하여 이론적 바운드의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서 멤버십 인식 공격의 성공 확률에 대한 이론적 바운드를 제공하기 위해 판노의 부등식을 어떻게 확장할 수 있는가?
• RQ2 모델 입력과 그 활성화 또는 출력 간의 상호정보량이 실제 MIA 성공률과 어느 정도 상관관계를 가지는가?
• RQ3 상호정보량이 DNN의 멤버십 인식 공격에 대한 취약성 정도를 측정하는 데 신뢰할 수 있고 실용적인 메트릭으로 기능할 수 있는가?
• RQ4 다양한 데이터셋에서 실제 딥 러닝 모델에 적용했을 때 제안된 이론적 바운드의 타당성은 어느 정도인가?
• RQ5 상호정보량을 정규화 목표로 사용하여 본질적으로 MIA에 더 강건한 DNN를 훈련시킬 수 있는가?

주요 결과

• 제안된 판노의 부등식의 확장은 입력과 모델 출력/활성화 간의 상호정보량을 바탕으로 멤버십 인식 공격의 성공 확률에 대한 이론적 하한을 제공한다.
• 입력과 상위 레이어 출력/활성화 간의 상호정보량은 실제 MIA 성공률과 강하게 상관되며, CIFAR-10에서 상관계수 0.966를 기록한다.
• SVHN 데이터셋에서는 상호정보량과 MIA 성공 확률 간의 상관계수가 0.996로 관찰되어 거의 완벽한 예측 능력을 보임.
• GTSRB 데이터셋에서는 상호정보량과 MIA 취약성 간의 상관계수가 0.955로 확인되어 다양한 데이터 분포 간의 강건성을 확인한다.
• 훈련 데이터의 조건부 엔트로피가 모델 출력을 기준으로 높을 경우 이론적 바운드가 가장 유용하며, 이는 정보 누출이 제한된 상태임을 시사한다.
• 결과적으로 상호정보량은 DNN의 프라이버시 평가 및 향상에 실용적이고 효과적인 메트릭으로 기능할 수 있으며, 더 강건한 모델 개발을 가능하게 한다.