[논문 리뷰] Unlearnable Examples: Making Personal Data Unexploitable

Hanxun Huang, Xingjun Ma외 3명|arXiv (Cornell University)|2021. 01. 13.

Privacy-Preserving Technologies in Data참고 문헌 58인용 수 46

한 줄 요약

본 논문은 오류를 최소화하는 노이즈를 도입하여 학습 불가능한 트레이닝 예제를 만들어 개인 데이터를 깊은 학습에 사용할 수 없게 하되 일반 용도에서의 데이터 유용성은 보존한다.

ABSTRACT

The volume of "free" data on the internet has been key to the current success of deep learning. However, it also raises privacy concerns about the unauthorized exploitation of personal data for training commercial models. It is thus crucial to develop methods to prevent unauthorized data exploitation. This paper raises the question: \emph{can data be made unlearnable for deep learning models?} We present a type of \emph{error-minimizing} noise that can indeed make training examples unlearnable. Error-minimizing noise is intentionally generated to reduce the error of one or more of the training example(s) close to zero, which can trick the model into believing there is "nothing" to learn from these example(s). The noise is restricted to be imperceptible to human eyes, and thus does not affect normal data utility. We empirically verify the effectiveness of error-minimizing noise in both sample-wise and class-wise forms. We also demonstrate its flexibility under extensive experimental settings and practicability in a case study of face recognition. Our work establishes an important first step towards making personal data unexploitable to deep learning models.

연구 동기 및 목표

• 무단 심층 학습 훈련으로부터 개인 데이터를 보호할 필요성을 제시한다.
• 학습 오차를 최소화하여 예제를 학습 불가하게 만드는 새로운 형태의 노이즈를 제안한다.
• 샘플 단위(sample-wise) 및 클래스 단위(class-wise) 학습 불가 노이즈를 생성하기 위한 이중 최적화 프레임워크를 개발한다.
• 다양한 데이터셋과 얼굴 인식 사례 연구를 통해 방법의 효과를 입증한다.

제안 방법

• 내부 최소화를 통해 Lp 경계 아래에서 감지하기 어려운 노이즈를 찾아 학습 손실을 최소화하고, 외부 최소화가 교정된 데이터에 대한 손실을 최소화하도록 분류기를 업데이트하는 이중 최적화로 학습 불가 데이터를 형식화한다.
• 두 가지 노이즈 형태를 사용한다: 샘플 단위(sample-wise; per-example) 및 클래스 단위(class-wise; per-label) 섭동.
• 경계가 있는 섭동 epsilon를 갖는 투영 경사 하강(PGD)으로 내부 문제를 해를 구한다.
• 학습 중 간헐적으로 노이즈 생성 과정을 적용하여 모델이 내용이 아닌 노이즈로부터 학습하도록 한다.
• 얼굴 인식 사례 연구를 포함하여 다양한 데이터셋과 구조에서 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 감지하기 어려운 노이즈가 딥 뉴럴 네트워크의 학습 예제가 학습 불가가 될 수 있는가?
• RQ2 샘플-단위 및 클래스-단위의 오류 최소화 노 Noise가 효과성과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 오류 최소화 노이즈는 샘플-단위와 클래스-단위 형태 모두에서 CIFAR-10의 깨끗한 테스트 정확도를 23% 미만으로 감소시킬 수 있다.
• 클래스-단위 노이즈가 일반적으로 샘플-단위 노이즈보다 더 효과적이며 때로는 정확도를 무작위 추정에 근접하게 만든다.
• 이 방법은 SVHN, CIFAR-10/100, 및 ImageNet 부분집합에서도 효과를 유지하며 일부 외부 데이터셋으로 전이된다.
• 부분적으로 학습 불가(데이터의 일부만 학습 불가) 상태도 학습을 저해하지만, 완전한 학습 불가가 더 강력한 보호를 제공한다.
• 대상 신원에 대해 상당한 보호를 보여주는 얼굴 인식/확인 사례 연구.