[논문 리뷰] Modelling and Quantifying Membership Information Leakage in Machine Learning

Farhad Farokhi, Mohamed Ali Kâafar|arXiv (Cornell University)|2020. 01. 29.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 23

한 줄 요약

이 논문은 조건부 상호정보량과 쿨백-라이블러 발산을 사용하여 기계학습에서 구성원 정보 泄露를 모델링하고 측정하기 위한 정보이론적 프레임워크를 제안한다. 연구는 더 큰 훈련 데이터셋, 더 높은 정규화, 더 낮은 모델 민감도에서 泄露가 감소함을 밝히며, $(\epsilon,\delta)$-차별적 비밀유지 기반의 가우시안 노이즈가 泄露를 $\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$ 만큼 감소시킴을 보여주며, 구성원 추론 공격에 대비하는 이론적 기반을 제공한다.

ABSTRACT

Machine learning models have been shown to be vulnerable to membership inference attacks, i.e., inferring whether individuals' data have been used for training models. The lack of understanding about factors contributing success of these attacks motivates the need for modelling membership information leakage using information theory and for investigating properties of machine learning models and training algorithms that can reduce membership information leakage. We use conditional mutual information leakage to measure the amount of information leakage from the trained machine learning model about the presence of an individual in the training dataset. We devise an upper bound for this measure of information leakage using Kullback--Leibler divergence that is more amenable to numerical computation. We prove a direct relationship between the Kullback--Leibler membership information leakage and the probability of success for a hypothesis-testing adversary examining whether a particular data record belongs to the training dataset of a machine learning model. We show that the mutual information leakage is a decreasing function of the training dataset size and the regularization weight. We also prove that, if the sensitivity of the machine learning model (defined in terms of the derivatives of the fitness with respect to model parameters) is high, more membership information is potentially leaked. This illustrates that complex models, such as deep neural networks, are more susceptible to membership inference attacks in comparison to simpler models with fewer degrees of freedom. We show that the amount of the membership information leakage is reduced by $\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$ when using Gaussian $(ε,δ)$-differentially-private additive noises.

연구 동기 및 목표

• 기계학습 모델에서 구성원 추론 공격의 성공에 기여하는 요인들을 이해하기 위해.
• 모델이 훈련 데이터의 구성원 여부를 얼마나 드러내는지 정량화하는 엄밀한 정보이론적 측도를 개발하기 위해.
• 데이터셋 크기, 정규화, 모델 민감도와 같은 모델 특성이 泄露에 어떻게 영향을 미치는지 조사하기 위해.
• 특히 가우시안 노이즈를 포함한 차별적 비밀유지 메커니즘이 구성원 泄露에 미치는 영향을 평가하기 위해.
• 구성원 추론 성공 확률과 쿨백-라이블러 발산과 같은 정보이론적 측도 사이의 이론적 연결을 제공하기 위해.

제안 방법

• 논문은 훈련된 모델과 특정 데이터 레코드 사이의 조건부 상호정보량을 사용하여 구성원 정보 泄露를 정의한다. 이때 모델의 파라미터를 조건으로 한다.
• 이를 바탕으로 특정 훈련 레코드가 존재하거나 존재하지 않을 경우의 모델 분포 간 쿨백-라이블러 발산을 사용하여 이 泄露의 상한을 유도한다.
• 이 KL 기반의 泄露 측도가 레캠과 핀스커의 부등식을 통해 적대자의 구성원 추론 성공 확률을 제한함을 증명한다.
• 모델의 복잡도와 泄露를 연결하기 위해 파라미터에 대한 적합도의 도함수를 기반으로 한 민감도 지표를 도입한다.
• $(\epsilon,\delta)$-차별적 비밀유지 하에서의 가우시안 노이즈가 미치는 영향을 분석하여, 泄露의 정량적 감소를 도출한다.
• 선형 회귀와 딥 네URAL 네트워크에서의 실험을 통해 이론적 결과를 검증하며, 다양한 데이터셋 크기, 정규화, 특성, 노이즈 수준에서 적대자 우위와 泄露를 측정한다.

실험 결과

연구 질문

• RQ1 훈련 데이터셋의 크기가 기계학습 모델의 구성원 정보 泄露에 어떻게 영향을 미치는가?
• RQ2 정규화는 볼록 및 비볼록 모델 모두에서 구성원 정보 泄루를 어느 정도 감소시키는가?
• RQ3 파라미터 적합도 도함수로 정의된 모델 민감도는 구성원 추론 공격의 잠재적 위험에 어떻게 영향을 미치는가?
• RQ4 $(\epsilon,\delta)$-차별적 비밀유지 기반의 가우시안 노이즈를 사용할 경우 구성원 정보 泄루는 얼마나 정량적으로 감소하는가?
• RQ5 이론적 泄루 상한이 실질적인 구성원 추론 공격 성공률과 얼마나 잘 상관되는가?

주요 결과

• 구성원 정보 泄루는 훈련 데이터셋 크기의 감소 함수이며, 데이터셋 크기가 증가함에 따라 적대자 성공 확률과 泄루가 급격히 감소한다.
• 정규화는 과적합을 완화함으로써 구성원 정보 泄루를 감소시키며, 더 높은 정규화 가중치일수록 더 낮은 泄루와 감소된 적대자 우위를 초래한다.
• 더 높은 모델 민감도(각 파라미터 변화에 따른 적합도 변화가 더 크다는 뜻)는 구성원 정보 泄루의 잠재적 위험 증가를 초래하며, 이는 딥 네URAL 네트워크와 같은 복잡한 모델의 취약성을 설명한다.
• $(\epsilon,\delta)$-차별적 비밀유지 기반의 가우시안 노이즈 사용은 구성원 정보 泄루를 $\mathcal{O}(\log^{1/2}(\delta^{-1})\epsilon^{-1})$ 만큼 감소시켜, 정량적 개인정보-유용성 트레이드오프를 제공한다.
• 선형 회귀와 딥 네URAL 네트워크에서의 실험 결과는 데이터셋 크기가 커지거나, 정규화가 높아지거나, 노이즈 크기가 증가할수록 泄루와 적대자 우위가 모두 감소함을 확인한다.
• 이론적 쿨백-라이블러 발산 기반의 泄루 측도는 적대자의 성공 확률을 잘 제한하며, 이는 구성원 프라이버시 위험을 측정하는 신뢰할 수 있는 지표로 사용될 수 있음을 검증한다.