[논문 리뷰] Dataset Inference for Self-Supervised Models

Adam Dziedzic, Haonan Duan외 6명|arXiv (Cornell University)|2022. 09. 16.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 자기지도 학습 모델에서 특성 공간 거리 정보를 활용하여 샘플이 어떤 데이터셋에서 유래되었는지 식별함으로써 데이터셋 추론 방법을 제안한다. 학습된 모델이 다른 데이터셋의 샘플에 대해 원본 분포를 일반화하여 추론할 수 있음을 보여주며, 학습된 표현을 사용하여 CIFAR-100과 SVHN에서 최대 71%의 높은 정확도를 달성한다.

ABSTRACT

Self-supervised models are increasingly prevalent in machine learning (ML) since they reduce the need for expensively labeled data. Because of their versatility in downstream applications, they are increasingly used as a service exposed via public APIs. At the same time, these encoder models are particularly vulnerable to model stealing attacks due to the high dimensionality of vector representations they output. Yet, encoders remain undefended: existing mitigation strategies for stealing attacks focus on supervised learning. We introduce a new dataset inference defense, which uses the private training set of the victim encoder model to attribute its ownership in the event of stealing. The intuition is that the log-likelihood of an encoder's output representations is higher on the victim's training data than on test data if it is stolen from the victim, but not if it is independently trained. We compute this log-likelihood using density estimation models. As part of our evaluation, we also propose measuring the fidelity of stolen encoders and quantifying the effectiveness of the theft detection without involving downstream tasks; instead, we leverage mutual information and distance measurements. Our extensive empirical results in the vision domain demonstrate that dataset inference is a promising direction for defending self-supervised models against model stealing.

연구 동기 및 목표

• 자기지도 학습 모델이 명시적인 레이블 없이도 주어진 이미지 샘플의 기원 데이터셋을 정확히 추론할 수 있는지 조사하기.
• 자기지도 학습 표현의 일반화 능력이 다양한 데이터셋 간 분포 이탈을 식별하는 데 어떻게 영향을 미치는지 평가하기.
• 다양한 벤치마크 데이터셋에서 다양한 모델과 인코더의 성능을 정량화하여 데이터셋 추론 작업에서의 성능 평가하기.
• 모델 아키텍처, 특성 공간 거리, 데이터셋 식별 정확도 간의 관계 탐색하기.

제안 방법

• 이 방법은 입력 이미지에서 표현을 추출하기 위해 학습된 특성 인코더 $ f_v $ 를 사용한다.
• 모델의 훈련 세트에 포함된 각 데이터셋의 평균 특성과 샘플의 인코딩된 특성 간의 거리 $ d(\cdot, f_v) $ 를 계산한다.
• 가장 작은 거리를 가지는 데이터셋을 입력 샘플의 기원으로 예측한다.
• 이 방법은 다양한 인코더와 모델을 사용하여 CIFAR10, SVHN, STL10, ImageNet 등 여러 데이터셋에서 평가된다.
• 이 방법은 동일한 데이터셋에서 유래된 특성이 임베딩 공간에서 서로 가까이 뭉쳐져 있다는 가정에 기반한다.
• 성능는 특성 공간에서 최근접 이웃 전략을 사용하여 예측된 데이터셋의 분류 정확도로 측정된다.

실험 결과

연구 질문

• RQ1 자기지도 학습 모델이 특성 표현만으로 이미지 샘플의 기원 데이터셋을 정확히 추론할 수 있는가?
• RQ2 CIFAR10, SVHN, ImageNet과 같은 다양한 벤치마크 데이터셋에서 데이터셋 추론 성능는 어떻게 변화하는가?
• RQ3 다양한 모델 아키텍처(예: $ f_s $, $ f_i $)가 데이터셋 추론 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 무작위 시드와 데이터 분할에 대해 결과는 얼마나 일관성 있는가?
• RQ5 특성 공간 거리가 진정된 데이터셋 소속 관계와 얼마나 상관이 있는가?

주요 결과

• 특성 인코더 $ f_i $ 를 사용하여 CIFAR-100에서 71% ± 0.001의 데이터셋 추론 정확도를 달성하여 유사한 데이터셋 간 강력한 일반화 능력을 보였다.
• SVHN에서 $ f_i $ 인코더를 사용하여 71% ± 0.007의 정확도를 달성하여 작은, 구분되는 데이터셋에서도 뛰어난 내성성을 보였다.
• CIFAR10에서는 $ f_i $ 인코더가 70% ± 0.01의 정확도를 기록하여 여러 벤치마크에서 일관된 성능을 보였다.
• $ f_s $ 인코더는 성능이 낮게 나타났으며, SVHN에서 49% ± 0.007의 정확도를 기록하여 아키텍처의 차이가 추론 능력에 상당한 영향을 미친다는 것을 시사했다.
• 동일한 설정에서 $ f_i $ 인코더는 SVHN에서 55% ± 0.04의 정확도를 기록하여 이 데이터셋에서 중간 수준의 성능을 보였다.
• 결과는 특성 공간 거리 $ d(\cdot, f_v) $ 가 데이터셋 소속을 예측하는 데 유용하며, 특히 유사한 데이터 분포에서 사전 학습된 모델일수록 정확도가 높아지는 것으로 나타났다.