[논문 리뷰] StolenEncoder: Stealing Pre-trained Encoders in Self-supervised Learning

Yupei Liu, Jinyuan Jia외 2명|arXiv (Cornell University)|2022. 01. 15.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 자기지도 학습에서 사전 훈련된 이미지 인코더를 대상으로 하는 첫 번째 모델 도용 공격인 StolenEncoder를 소개한다. 소규모 서rogate 데이터셋을 사용하여 Encoder-as-a-Service (EaaS) API에 쿼리하고, 데이터 증강을 적용함으로써, 원본 인코더의 특징 추출 행동을 정밀하게 모방하는 도용된 인코더를 훈련시킨다. 이는 사전 훈련을 처음부터 수행하는 것에 비해 훨씬 적은 데이터와 계산 자원으로도 동등한 최종 분류 정확도를 달성한다.

ABSTRACT

Pre-trained encoders are general-purpose feature extractors that can be used for many downstream tasks. Recent progress in self-supervised learning can pre-train highly effective encoders using a large volume of unlabeled data, leading to the emerging encoder as a service (EaaS). A pre-trained encoder may be deemed confidential because its training requires lots of data and computation resources as well as its public release may facilitate misuse of AI, e.g., for deepfakes generation. In this paper, we propose the first attack called StolenEncoder to steal pre-trained image encoders. We evaluate StolenEncoder on multiple target encoders pre-trained by ourselves and three real-world target encoders including the ImageNet encoder pre-trained by Google, CLIP encoder pre-trained by OpenAI, and Clarifai's General Embedding encoder deployed as a paid EaaS. Our results show that our stolen encoders have similar functionality with the target encoders. In particular, the downstream classifiers built upon a target encoder and a stolen one have similar accuracy. Moreover, stealing a target encoder using StolenEncoder requires much less data and computation resources than pre-training it from scratch. We also explore three defenses that perturb feature vectors produced by a target encoder. Our results show these defenses are not enough to mitigate StolenEncoder.

연구 동기 및 목표

• 공개 API를 통해 노출된 강력한 사전 훈련된 인코더를 둘러싼 지적 재산권 泄露 위험 증가에 대응하기 위해.
• 훈련 데이터나 아키텍처에 접근하지 않고도 대상 이미지 인코더의 기능적 행동을 도용할 수 있는 새로운 공격 방법을 개발하기 위해.
• 기존의 분류기 도용 방어 조치가 인코더 도용에 효과적인지 평가하고, 그 한계를 규명하기 위해.
• 도용된 인코더가 최종 작업에서 원본 대상 인코더와 동등한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 도용된 인코더와 대상 인코더가 소규모 서rogate 데이터셋에서 생성하는 특징 벡터 간의 L2 거리 최소화를 목표로 하는 최적화 문제로 인코더 도용 문제를 수립한다.
• 훈련 중 일반화 능력을 향상시키기 위해 서rogate 데이터셋에 데이터 증강(예: RandomHorizontalFlip, ColorJitter, RandomGrayScale)을 적용한다.
• 이중 손실 목표를 도입한다: L1은 원본 이미지에서의 유사도를 측정하고, L2'는 증강된 이미지에서의 유사도를 측정하며, 둘 다 대상 인코더의 API 쿼리를 통해 계산된다.
• 쿼리 비용을 줄이기 위해 소규모이고 분산되지 않은 서rogate 데이터셋을 사용하면서도, 증강과 손실 최적화를 통해 높은 성능을 유지한다.
• 결합된 손실을 사용하여 도용된 인코더를 엔드 투 엔드로 훈련시어, 그 특징 출력을 대상 인코더의 출력과 일치시킨다.
• 도용된 인코더의 기능적 정밀도를 측정하기 위해 최종 분류 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 소규모 쿼리 수와 소규모 서rogate 데이터셋을 사용하여 EaaS API에서 사전 훈련된 이미지 인코더를 효과적으로 도용할 수 있는가?
• RQ2 훈련 중 데이터 증강이 도용된 인코더의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 도용된 인코더가 최종 분류 작업에서 대상 인코더의 功能을 어느 정도 정확하게 재현하는가?
• RQ4 기존의 분류기 도용 방어 조치가 인코더 도용 공격에 효과적인가?
• RQ5 사전 훈련을 처음부터 수행하는 것에 비해 인코더 도용의 계산 및 데이터 효율성은 어떠한가?

주요 결과

• CIFAR-10 서rogate 데이터셋을 사용하고 전체 데이터 증강을 적용한 경우, GTSRB 데이터셋에서 도용된 인코더는 79.94%의 최종 분류 정확도를 달성했으며, 증강 없이 훈련한 경우는 51.50%였다.
• 네 가지 데이터 증강 기법(RandomResizedCrop, RandomHorizontalFlip, ColorJitter, RandomGrayScale)을 모두 사용할 경우 가장 높은 성능(79.94% 정확도)을 기록했으며, 이는 증강의 핵심적 역할을 입증한다.
• 공격은 원본 대상 인코더와 동등한 최종 성능을 달성했으며, CLIP 및 Google의 ImageNet 인코더를 포함한 여러 벤치마크에서 도용된 인코더가 대상 인코더의 정확도를 정확히 재현했다.
• 사전 훈련을 처음부터 수행하는 것에 비해 도용된 인코더의 데이터 및 계산 자원 소모가 훨씬 적어, 매우 효율적인 대안이 된다.
• 일반적으로 분류기 도용에 대응하기 위해 사용되는 신뢰도 점수를 왜곡하는 방어 조치는 StolenEncoder에 효과가 없으며, 이는 공격이 예측 출력이 아닌 특징 수준의 유사도를 대상으로 하기 때문이다.
• 공격은 OpenAI의 CLIP 및 Google의 ImageNet 모델을 포함한 실제 EaaS 인코더를 성공적으로 도용하여 실용적 타당성을 확인했다.