[논문 리뷰] Quantifying and Mitigating Privacy Risks of Contrastive Learning

Xinlei He, Yang Zhang|arXiv (Cornell University)|2021. 02. 08.

Privacy-Preserving Technologies in Data참고 문헌 69인용 수 6

한 줄 요약

이 논문은 대조 학습에 대한 최초의 프라이버시 분석을 제시하며, 대조 모델은 과적합이 줄어들어 회원성 추론 공격에 덜 취약하지만, 표현력 있는 표현 방식으로 인해 민감한 속성 추론 공격에 훨씬 더 취약하다는 것을 드러낸다. 이를 완화하기 위해 저자들은 악성 훈련을 사용하여 민감한 속성 泄露 를 억제하는 프라이버시 보장 대조 학습 프레임워크인 Talos를 제안한다. 이는 모델의 유용성이나 회원성 프라이버시를 희생시키지 않은 채 속성 추론 위험을 효과적으로 줄인다.

ABSTRACT

Data is the key factor to drive the development of machine learning (ML) during the past decade. However, high-quality data, in particular labeled data, is often hard and expensive to collect. To leverage large-scale unlabeled data, self-supervised learning, represented by contrastive learning, is introduced. The objective of contrastive learning is to map different views derived from a training sample (e.g., through data augmentation) closer in their representation space, while different views derived from different samples more distant. In this way, a contrastive model learns to generate informative representations for data samples, which are then used to perform downstream ML tasks. Recent research has shown that machine learning models are vulnerable to various privacy attacks. However, most of the current efforts concentrate on models trained with supervised learning. Meanwhile, data samples' informative representations learned with contrastive learning may cause severe privacy risks as well. In this paper, we perform the first privacy analysis of contrastive learning through the lens of membership inference and attribute inference. Our experimental results show that contrastive models trained on image datasets are less vulnerable to membership inference attacks but more vulnerable to attribute inference attacks compared to supervised models. The former is due to the fact that contrastive models are less prone to overfitting, while the latter is caused by contrastive models' capability of representing data samples expressively. To remedy this situation, we propose the first privacy-preserving contrastive learning mechanism, Talos, relying on adversarial training. Empirical results show that Talos can successfully mitigate attribute inference risks for contrastive models while maintaining their membership privacy and model utility.

연구 동기 및 목표

• 대조 학습 모델의 프라이버시 위험을 정량화하는 것, 특히 회원성 및 속성 추론 공격에 초점한다.
• 감독 학습 모델에 비해 과적합이 낮음에도 불구하고 대조 모델이 민감한 정보를 유출할 수 있는 이유를 조사하는 것.
• 모델의 유용성과 회원성 프라이버시를 유지하면서 속성 추론 위험을 줄이는 새로운 프라이버시 보장 메커니즘을 개발하는 것.
• 실제 공격 시나리오에서 표준 이미지 데이터셋에 대해 제안된 방법의 효과성을 평가하는 것.

제안 방법

• 기존의 회원성 추론 공격 및 속성 추론 공격 방법—신경망 기반, 거리 기반, 레이블 전용 방식—을 대조 모델에 적용할 수 있도록 적응한다.
• 표현 학습 과정에서 민감한 속성을 학습하는 것을 억제하기 위해 대조 학습 파이프라인에 악성 분류기를 도입한다.
• 악성 분류기가 민감한 속성을 추론하려는 동안 인코더가 이를 최소화하도록 최적화하도록, 악성 훈련을 사용해 대조 모델과 악성 분류기를 함께 훈련한다.
• 데이터 증강을 사용해 대조 학습용 양성 및 음성 뷰를 생성하며, 메모리 효율성을 확보하기 위해 표준 SimCLR 프레임워크에 MoCo 스타일 큐를 적용한다.
• 표현에 민감한 속성이 포함되지 않도록, 사전 훈련 단계에서 프라이버시 보장 메커니즘(Talos)을 적용한다.
• 공격 정확도, 최종 분류 작업 성능, 회원성 추론 성공률을 사용해 프라이버시와 유용성의 상호 교환 관계를 평가한다.

실험 결과

연구 질문

• RQ1 대조 모델은 감독 학습 모델에 비해 회원성 추론 공격에 얼마나 취약한가?
• RQ2 감독 학습 모델에 비해 과적합이 낮음에도 불구하고 대조 모델이 왜 속성 추론 공격에 더 취약한가?
• RQ3 악성 훈련이 대조 표현에서 민감한 속성 유출을 효과적으로 억제할 수 있는가?
• RQ4 제안된 프라이버시 보장 메커니즘이 모델의 유용성과 회원성 프라이버시를 어느 정도 유지하는가?
• RQ5 이 프라이버시 완화 접근법은 다양한 이미지 데이터셋과 아키텍처 간에 일반화될 수 있는가?

주요 결과

• ResNet-50를 사용한 STL10에서 대조 모델은 회원성 추론 공격 정확도가 0.620을 기록했으며, 이는 해당 감독 학습 모델의 0.810에 비해 상당히 낮다.
• UTKFace 데이터셋에서 ResNet-18를 사용한 대조 모델의 속성 추론 공격 정확도는 0.701에 이르며, 감독 학습 모델의 0.422에 비해 높다.
• 속성 추론 공격에 대한 취약성 증가는 대조 표현의 표현력 있고 정보가 풍부한 성격 때문이며, 이는 입력 샘플에 대한 세부 정보를 유지하기 때문이다.
• Talos는 기준 수준에 가까운 속성 추론 공격 정확도로 낮추는 데 성공했으며, 최종 분류 작업에서 높은 성능을 유지한다.
• Talos는 회원성 프라이버시를 유지하며, 표준 대조 학습에 비해 회원성 추론 성공률에 유의미한 증가가 없다.
• 이 방법은 다양한 아키텍처와 데이터셋에서 뛰어난 강건성을 보이며, 대조 학습을 위한 프라이버시 보장 솔루션으로서의 일반화 가능성을 확인한다.