[논문 리뷰] Dataset Inference: Ownership Resolution in Machine Learning

Pratyush Maini, Mohammad Yaghini외 1명|arXiv (Cornell University)|2021. 04. 21.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 23

한 줄 요약

이 논문은 모델 盗難를 탐지하기 위해 피해자의 비공개 학습 데이터에서 지식을 유추하는 새로운 소유권 해소 방식인 데이터셋 인퍼런스(DI)를 소개한다. 피해자의 학습 데이터에서 작은 부분집합에 대해 예측의 확신도(결정 경계까지의 마진)를 측정함으로써, DI는 재학습 없이도 정확도를 훼손하지 않고도 50개의 노출된 점만으로도 도난 여부를 99% 이상의 신뢰도로 탐지할 수 있다.

ABSTRACT

With increasingly more data and computation involved in their training, machine learning models constitute valuable intellectual property. This has spurred interest in model stealing, which is made more practical by advances in learning with partial, little, or no supervision. Existing defenses focus on inserting unique watermarks in a model's decision surface, but this is insufficient: the watermarks are not sampled from the training distribution and thus are not always preserved during model stealing. In this paper, we make the key observation that knowledge contained in the stolen model's training set is what is common to all stolen copies. The adversary's goal, irrespective of the attack employed, is always to extract this knowledge or its by-products. This gives the original model's owner a strong advantage over the adversary: model owners have access to the original training data. We thus introduce $dataset$ $inference$, the process of identifying whether a suspected model copy has private knowledge from the original model's dataset, as a defense against model stealing. We develop an approach for dataset inference that combines statistical testing with the ability to estimate the distance of multiple data points to the decision boundary. Our experiments on CIFAR10, SVHN, CIFAR100 and ImageNet show that model owners can claim with confidence greater than 99% that their model (or dataset as a matter of fact) was stolen, despite only exposing 50 of the stolen model's training points. Dataset inference defends against state-of-the-art attacks even when the adversary is adaptive. Unlike prior work, it does not require retraining or overfitting the defended model.

연구 동기 및 목표

• 디스티illation 또는 추출 공격로 인해 기존 워터마킹 방식이 실패할 수 있는 상황에서, 머신러닝 모델 도난 시 소유권을 입증하는 데 도전한다.
• 모델 재학습이 필요하고 성능을 저하시키는 기존 워터마킹 방어 기법의 한계를 극복한다.
• 모든 도난당한 모델은 공격 벡터에 관계없이 피해자의 학습 데이터에서 유래한 지식을 내재하고 있다는 사실을 활용한다.
• 피해자는 원본 학습 데이터에 접근할 수 있지만, 공격자는 그렇지 않다는 정보 비대칭성을 활용한다.
• 모델를 수정하거나 재학습할 필요 없이, 신뢰도 높은 소유권 주장이 가능하도록 한다.

제안 방법

• 피해자의 학습 데이터에서 작은 비공개 부분집합에 대해 의심스러운 모델의 예측 확신도(결정 경계까지의 마진)를 측정한다.
• 피해자 모델의 학습 및 검증 데이터셋에서의 임bedding을 기반으로 마진 분포를 추정하기 위해 신뢰도 회귀모형을 학습한다.
• 통계적 가설 검정(예: t-검정 또는 순열 검정)을 사용하여 피해자의 학습 데이터에서의 의심스러운 모델 예측 평균 마진과 무작위 테스트 데이터에서의 평균 마진을 비교한다.
• p-값 임계치(예: 10⁻³)를 정의하여, 의심스러운 모델이 피해자의 학습 데이터에서 더 높은 확신도를 보일 경우 지식 유출이 발생했음을 나타내는가를 판단한다.
• 다양한 아키텍처(예: Wide ResNet-50-2, AlexNet, Inception V3)와 데이터셋(CIFAR-10, SVHN, ImageNet)을 대상으로 일반화 능력을 평가하기 위해 방법을 적용한다.
• 피해자와 공격자 데이터셋 간의 다양한 데이터 오버랩(λ) 조건에서 적응형 공격에 대한 강건성도 평가한다.

실험 결과

연구 질문

• RQ1 질의 기반 추출 또는 전체 데이터 도난 방식을 통해 도난된 의심스러운 모델이 피해자의 비공개 학습 데이터에서 유래되었는지, 모델 소유주가 신뢰성 있게 탐지할 수 있는가?
• RQ2 통계적 인퍼런스를 통해 예측 확신도를 분석할 때, 피해자 데이터셋의 몇 개의 학습 포인트만으로도 소유권을 확신 있게 주장할 수 있는가?
• RQ3 공격자가 디스티illation, 파인튜닝 또는 데이터 없는 지식 전이를 사용할 경우, 데이터셋 인퍼런스는 여전히 효과적인가?
• RQ4 오버피팅이 발생할 가능성이 낮은 대규모 벤치마크인 ImageNet에서 데이터셋 인퍼런스는 어떻게 성능을 발휘하는가?
• RQ5 피해자의 학습 데이터가 공격자의 데이터셋에 얼마나 적은 비율로 포함되어 있어야 DI가 지식 유출을 성공적으로 탐지할 수 있는가?

주요 결과

• 피해자의 학습 데이터에서 10개의 샘플만으로도 DI는 ImageNet에서도 p-값 < 10⁻³을 달성하여 소유권 탐지에 매우 높은 확신을 가짐을 보여준다.
• CIFAR-10과 SVHN에서 DI는 피해자 모델의 50개의 노출된 학습 포인트만으로도 도난 탐지에 99% 이상의 확신도를 달성한다.
• 공격자가 데이터 없는 디스티illation 또는 파인튜닝을 사용하더라도 DI는 지식 유출을 성공적으로 탐지하여 적응형 공격에 대한 강건성을 보여준다.
• 다양한 아키텍처(예: Wide ResNet-50-2, AlexNet, Inception V3)에 걸쳐 일반화가 가능하여 복잡한 모델로의 확장성도 입증된다.
• 피해자의 학습 데이터가 공격자의 데이터셋에 10%의 오버랩(λ = 0.1)이 있을 경우에도 DI는 p-값 < 10⁻⁴로 도난을 탐지할 수 있어, 극소량의 데이터 유출에도 민감하게 반응함을 보여준다.
• 테스트의 효과 크기(effect size)는 데이터 오버랩(λ)이 높을수록 증가함을 확인하여, 공유된 학습 데이터가 많을수록 DI의 신뢰도가 더욱 높아지는 것으로 확인된다.