[논문 리뷰] Transferable Unlearnable Examples

Jie Ren, Xu Han외 4명|arXiv (Cornell University)|2022. 10. 18.

Data Quality and Management인용 수 6

한 줄 요약

이 논문은 입력 공간에서 선형 가분성을 최적화함으로써 다양한 학습 설정(예: 지도 학습 및 대비 학습)과 데이터셋(예: CIFAR-10, SVHN, CIFAR-100)에서 효과적으로 작용하는 편향이 유지되는 전이 가능성이 높은 비가역 예제 생성 방법인 전이 가능한 비가역 예제(TUE)를 제안한다. 이는 클래스별 가분성 판별기(CSD) 기반의 새로운 비가역 예제 생성 방법으로, 학습 및 데이터 전이 가능성 측면에서 기존 방법보다 뛰어나며, 시각적으로 인식하기 어려운 수준을 유지하면서도 비가역성 전이 능력을 크게 향상시킨다.

ABSTRACT

With more people publishing their personal data online, unauthorized data usage has become a serious concern. The unlearnable strategies have been introduced to prevent third parties from training on the data without permission. They add perturbations to the users' data before publishing, which aims to make the models trained on the perturbed published dataset invalidated. These perturbations have been generated for a specific training setting and a target dataset. However, their unlearnable effects significantly decrease when used in other training settings and datasets. To tackle this issue, we propose a novel unlearnable strategy based on Classwise Separability Discriminant (CSD), which aims to better transfer the unlearnable effects to other training settings and datasets by enhancing the linear separability. Extensive experiments demonstrate the transferability of the proposed unlearnable examples across training settings and datasets.

연구 동기 및 목표

• 기존 비가역 예제의 다양한 학습 설정과 데이터셋 간 전이 가능성 부족 문제를 해결하기 위해.
• 지도 학습에서 효과적인 편향이 비지도 또는 대비 학습에서는 실패하는 학습 전이 가능성의 약점 해결을 위해.
• 한 데이터셋에서 생성된 편향이 다른 데이터셋에서도 효과를 유지할 수 있도록 데이터 전이 가능성 향상을 위해.
• 다양한 머신러닝 학습 철학에 걸쳐 강력한 비가역 효과를 유지할 수 있는 최적화 가능하고 정량화 가능한 방법 개발을 위해.

제안 방법

• 입력 공간에서 클래스 간 선형 가분성을 최적화하기 위해 미분 가능한 목적함수로 클래스별 가분성 판별기(CSD)를 제안한다.
• 편향의 상호 클래스 간 분리도를 극대화하고 내부 클래스 변동성을 최소화하도록 편향을 최적화하여 비가역 예제를 생성한다.
• 모델이 의미적 내용 대신 단기적 특징을 학습하도록 유도하기 위해, 시각적으로 인식하기 어려운 편향을 생성하기 위해 이중 최적화 프레임워크를 활용한다.
• 지도 학습 및 비지도 학습 설정 모두에서 보호 기능을 제공하기 위해 클래스별 및 샘플별 노이즈 패턴을 통합한다.
• t-SNE 시각화 및 보간 실험을 통해 입력 공간에서의 선형 가분성과 다양한 데이터셋 간 전이 가능성 검증을 수행한다.
• TUE 편향이 비지도 대비 학습으로 이식되거나 다른 데이터셋 간 전이될 때도 여전히 비가역 효과를 유지함을 입증한다.

실험 결과

연구 질문

• RQ1 한 학습 설정(예: 지도 학습)에서 생성된 비가역 예제가 다른 설정(예: 대비 학습)에서 사용될 때도 여전히 비가역 효과를 유지할 수 있는가?
• RQ2 한 데이터셋(예: CIFAR-10)에서 생성된 비가역 편향이 다른 데이터셋(예: SVHN 또는 CIFAR-100)에 적용될 때도 효과를 유지할 수 있는가?
• RQ3 입력 공간에서의 선형 가분성은 학습 및 데이터 설정 간 비가역 예제의 전이 가능성에 어떤 영향을 미치는가?
• RQ4 통합된 비가역 예제 생성 방법이 동시에 지도 학습과 비지도 학습에 대한 보호 기능을 제공할 수 있는가?
• RQ5 편향의 구조적 특성(예: 클래스별 대비 샘플별 패턴) 중 어떤 것이 더 넓은 전이 가능성과 관련이 있는가?

주요 결과

• TUE는 기존 방법(예: EMN 및 UCL)이 교차 설정 시나리오에서 실패하는 것과 달리, 지도 학습 및 비지도 학습 설정 모두에서 강력한 비가역 효과를 달성한다.
• t-SNE 시각화 결과를 통해 TUE는 입력 공간에서 클래스 간 선형 가분성이 유지되어 각 클래스에 대해 명확하고 겹치지 않는 클러스터를 형성함을 확인하였다.
• 보간 실험을 통해 TUE 편향은 CIFAR-10에서 SVHN 및 CIFAR-100으로의 전이 시 선형 가분성이 유지됨을 입증하여 데이터 전이 가능성 확인하였다.
• TUE는 EMN 및 UCL보다 비승인된 학습에 대한 데이터 보호 능력에서 뛰어나며, TUE 편향이 가공된 데이터로 학습된 모델은 깨끗한 테스트 데이터에 대해 일반화 성능을 확보하지 못함을 입증하였다.
• TUE에서 클래스별 및 샘플별 노이즈 패턴의 공존은 이중 보호 기능을 제공하여 지도 학습과 비지도 학습 양쪽 모두에 효과적임을 입증하였다.
• TUE의 편향은 클래스 내에서 시각적으로 일관되며 클래스 간으로는 뚜렷하게 구분되어, 모델이 잘못된 단기적 특징을 학습하도록 유도하는 구조적이고 학습 가능한 단기적 특징이 존재함을 확인하였다.