[논문 리뷰] Towards Generalizable Data Protection With Transferable Unlearnable Examples

Bin Fang, Bo Li외 5명|arXiv (Cornell University)|2023. 05. 18.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 데이터 분포의 기울기 일치를 통한 데이터 콜라프스 유도를 통해 이식 가능한 학습 불가 예제를 생성하는 새로운 일반화 가능한 데이터 보호 방법을 제안한다. 분포 수준의 강건성에 초점을 맞추고 강건한 서rogate 모델을 사용함으로써, 다양한 모델과 데이터셋에서 뛰어난 보호 성능과 일반화 능력을 달성하며, 표준 및 공격적 훈련 환경에서 이전의 SOTA 방법들을 능가한다.

ABSTRACT

Artificial Intelligence (AI) is making a profound impact in almost every domain. One of the crucial factors contributing to this success has been the access to an abundance of high-quality data for constructing machine learning models. Lately, as the role of data in artificial intelligence has been significantly magnified, concerns have arisen regarding the secure utilization of data, particularly in the context of unauthorized data usage. To mitigate data exploitation, data unlearning have been introduced to render data unexploitable. However, current unlearnable examples lack the generalization required for wide applicability. In this paper, we present a novel, generalizable data protection method by generating transferable unlearnable examples. To the best of our knowledge, this is the first solution that examines data privacy from the perspective of data distribution. Through extensive experimentation, we substantiate the enhanced generalizable protection capabilities of our proposed method.

연구 동기 및 목표

• 기존의 학습 불가 예제 방법들이 공격적 훈련이나 다른 모델으로 이식될 때 일반화가 부족한 문제를 해결하기 위해.
• 학습 불가 예제의 보호 성능을 향상시키기 위해 모델 특화 노이즈에서 데이터 분포 수준의 교란으로 초점을 이동시켜 데이터 콜라프스를 유도하기 위해.
• 공격적 훈련에 강건한 서rogate 모델을 사용하여 학습 불가 예제의 강건성을 향상시키기 위해.
• 다양한 아키텍처와 데이터셋에서 강력한 보호 효과를 유지하면서도 이식 가능성을 확보하기 위한 방법을 개발하기 위해.
• 불법 모델 훈련이 포함된 상황에서 기계 학습의 데이터 프라이버시를 위한 확장 가능하고 일반화 가능한 솔루션을 제공하기 위해.

제안 방법

• 점수 모델을 사용하여 데이터 분포의 기울기를 추정함으로써, 데이터 콜라프스를 유도하는 타겟팅된 교란을 가능하게 한다.
• 특징 공간에서 데이터 포인트들을 서로 가까이 밀어넣음으로써 분류 정보를 감소시킴으로써 학습 불가 예제를 생성한다.
• 강건한 서rogate 모델을 훈련시어 학습 불가 노이즈를 생성함으로써, 공격적 미세조정 동안에도 보호 효과가 지속됨을 보장한다.
• 특정 모델 아키텍처에 종속되지 않도록 설계되어 다양한 신경망 간의 이식 가능성을 향상시킨다.
• 지각 불가능한, 분포 인식 교란을 적용하여, 오염된 예제로 훈련된 모델의 정확도를 청소된 데이터에서 떨어지게 한다.
• 생성 단계에서 공격적 훈련을 적용하여 학습 불가 예제가 모델 미세조정 동안에도 효과를 유지할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 학습 불가 예제는 다양한 딥러닝 모델과 데이터셋 간에 더 일반화 가능하게 만들 수 있는가?
• RQ2 분포 수준의 기울기 일치를 통한 데이터 콜라프스 유도가 학습 불가 예제의 강건성과 이식 가능성에 어떤 영향을 미치는가?
• RQ3 강건한 서rogate 모델을 사용하면 학습 불가 예제가 공격적 훈련에 대해 더 강건해지는가?
• RQ4 제안된 방법은 표준 및 공격적 훈련 환경에서 기존의 SOTA 방법보다 얼마나 뛰어나게 데이터를 보호하는가?
• RQ5 픽셀 수준 또는 특징 수준의 노이즈 삽입보다 데이터 분포 인식 교란이 더 강력하고 이식 가능한 데이터 보호를 달성할 수 있는가?

주요 결과

• 공격적 훈련 이후 CIFAR-10에서 평균 테스트 정확도가 62.76%를 기록하여 EM(88.31%)과 REM(75.01%)보다 유의미하게 낮게 나타나 강건성이 뛰어나다는 것을 입증한다.
• CIFAR-100에서 공격적 훈련 후 평균 정확도가 43.68%를 유지하며, EM(61.60%)과 REM(49.97%)보다 보호 능력에서 뛰어나다.
• 다양한 서rogate 모델(VGG-16, ResNet-18 등)을 사용할 경우, 제안된 방법은 평균적으로 모델 정확도를 36% 이하로 낮추며 강력한 일반화 능력을 보여준다.
• 다양한 데이터셋과 모델에서 SOTA 방법 대비 평균 정확도를 5%에서 32%까지 감소시켜 일반화 능력 향상을 확인한다.
• 강건한 서rogate 모델을 사용함으로써, 비강건한 방법들(예: EM, REM)과 달리 공격적 미세조정 이후에도 학습 불가 예제의 효과가 유지됨을 보장한다.
• 광범위한 실험을 통해 제안된 방법의 보호 효과가 다양한 아키텍처와 데이터셋에서 강건하며, 표준 및 공격적 훈련 모두에서 일관된 성능 저하를 보여준다.