[논문 리뷰] Measuring Unintended Memorisation of Unique Private Features in Neural Networks

John Hartley, Sotirios A. Tsaftaris|arXiv (Cornell University)|2022. 02. 16.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 훈련된 신경망 내에서 환자의 이름과 같이 유일한 개인정보 특징(예: 의료 영상에서의 환자 이름)이 의도치 않게 기억되는지 탐지하기 위해 블랙박스 기억점수를 제안한다. 수정된 이상치 데이터에 대한 모델 출력의 KL 발산을 비교함으로써, 드롭아웃, 배치 정규화, 데이터 증강과 같은 정규화 기법을 적용한 경우에도 MNIST, 패션-MNIST, CIFAR-10 데이터셋에서 훈련된 모델이 훈련 데이터에 단 한 번만 등장하는 유일한 특징을 기억하고 있음을 밝혀내며, 이는 심각한 개인정보 유출 위험을 암시한다.

ABSTRACT

Neural networks pose a privacy risk to training data due to their propensity to memorise and leak information. Focusing on image classification, we show that neural networks also unintentionally memorise unique features even when they occur only once in training data. An example of a unique feature is a person's name that is accidentally present on a training image. Assuming access to the inputs and outputs of a trained model, the domain of the training data, and knowledge of unique features, we develop a score estimating the model's sensitivity to a unique feature by comparing the KL divergences of the model's output distributions given modified out-of-distribution images. Our results suggest that unique features are memorised by multi-layer perceptrons and convolutional neural networks trained on benchmark datasets, such as MNIST, Fashion-MNIST and CIFAR-10. We find that strategies to prevent overfitting (e.g.\ early stopping, regularisation, batch normalisation) do not prevent memorisation of unique features. These results imply that neural networks pose a privacy risk to rarely occurring private information. These risks can be more pronounced in healthcare applications if patient information is present in the training data.

연구 동기 및 목표

• 신경망이 훈련 데이터에 단 한 번만 등장하는 유일한 개인정보 특징(예: 이름 또는 식별자)을 의도하지 않게 기억하는지 조사하는 것.
• 훈련 데이터에 접근할 수 없더라도 모델 입력, 출력 및 유일한 특징에 대한 지식만을 사용하여 이러한 기억 여부를 측정할 수 있는 블랙박스 방법을 개발하는 것.
• 일반적인 정규화 기법(예: 드롭아웃, 배치 정규화, 데이터 증강)이 유일한 특징의 기억을 방지하는 데 효과적인지 평가하는 것.
• 학습 예제의 影향(예: TracIn를 통한 자기영향 점수)과 모델의 기억 수준 간의 관계를 평가하는 것.
• 특히 환자 식별자가 모델 가중치에 의도치 않게 포함될 수 있는 의료 분야와 같이 실생활 응용에서 개인정보 위험이 존재하는지 강조하는 것.

제안 방법

• MNIST, 패션-MNIST, CIFAR-10와 같은 벤치마크 데이터셋에 유일한 개인정보 특징(예: 이름)을 가진 합성 '캐니' 이미지를 삽입하는 것.
• 실제 훈련 환경을 시뮬레이션하기 위해 다층퍼셉트론과 컨볼루션 신경망을 이러한 확장된 데이터셋으로 훈련하는 것.
• 원본 및 수정된 캐니 이미지에 대한 모델 출력 분포 간의 KL 발산을 정의하여 기억점수 M로 사용하는 것. 여기서 수정은 유일한 특징은 유지하나 다른 시각적 내용을 변경하는 방식이다.
• 동일한 유일한 특징을 가졌지만 배경이나 맥락이 다른 이상치 이미지를 사용하여 모델의 민감도를 탐사하는 것.
• 여러 캐니에 대해 점수를 계산하고 평균 M 값을 산출하여 기억 수준을 평가하는 것.
• 드롭아웃, 데이터 증강, 배치 정규화와 같은 정규화 기법이 기억에 미치는 영향을 비교하기 위해 다양한 모델 간의 M 점수를 평가하는 것.

실험 결과

연구 질문

• RQ1 훈련 데이터셋에 단 한 번만 등장하는 유일한 개인정보 특징(예: 이름)이 레이블이나 클래스 분포의 일부가 아니더라도 신경망이 이를 기억할 수 있는가?
• RQ2 모델 입력과 출력만을 사용하여 제안된 블랙박스 기억점수가 이러한 의도하지 않은 기억을 효과적으로 탐지할 수 있는가?
• RQ3 일반적인 정규화 기법(예: 드롭아웃, 배치 정규화, 데이터 증강)이 유일한 개인정보 특징의 기억을 효과적으로 방지하는가?
• RQ4 학습 예제의 자기영향(TracIn를 통해 측정)과 모델이 그 유일한 특징을 기억하는 정도 사이에 상관관계가 있는가?
• RQ5 데이터 증강이 유일한 특징의 기억에 어떤 영향을 미치는가? 특히 동일한 유일한 특징을 가진 예시의 유효 수가 증가할 경우에 대해 설명할 것.

주요 결과

• 제안된 기억점수는 MNIST, 패션-MNIST, CIFAR-10에서 훈련된 다층퍼셉트론과 컨볼루션 신경망 모두에서 의도하지 않은 유일한 개인정보 특징의 기억을 성공적으로 탐지한다.
• 정규화를 적용한 후에도 기억점수(M)가 유의미하게 유지된다. 예를 들어, 배치 정규화를 적용한 CIFAR-10에서의 CNN-2 모델의 경우 M = 1.7로 나타나 강한 기억 현상이 있음을 시사한다.
• 데이터 증강은 기억점수를 증가시킨다 — 한 사례에서는 0.018에서 0.13으로 상승하며, 이는 동일한 유일한 특징을 가진 예시 수가 암묵적으로 증가함에 따라 유사한 상관관계가 강화되기 때문이다.
• 패션-MNIST와 CIFAR-10에서는 자기영향(TracIn를 통한 측정)과 기억점수 간에 강한 상관관계가 없음을 확인하여, 고영향 예제가 복잡한 데이터셋에서 기억의 주요 원인이 되지 않는다는 것을 시사한다.
• 표준 벤치마크 데이터셋에서도 유일한 개인정보 특징이 기억되고 있음을 확인하여, 환자 식별자가 의도치 않게 포함될 수 있는 실생활 응용 분야(특히 의료 분야)에서 지속적인 개인정보 유출 위험이 존재한다는 것을 시사한다.