[논문 리뷰] Adversarial Examples for Unsupervised Machine Learning Models.

Chia-Yi Hsu, Pin‐Yu Chen외 3명|arXiv (Cornell University)|2021. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 레이블이나 사전 훈련된 분류기 없이 비지도 학습에서 적대적 예제를 생성하기 위한 새로운 프레임워크를 제안한다. 상호정보량 신경추정기(MINE)를 비지도 유사도 측정 수단으로 활용하고, 증명 가능하게 수렴하는 MinMax 알고리즘을 적용함으로써, 표현 학습 및 대비 학습과 같은 비지도 작업 전반에서 성능을 크게 향상시키는 효과적인 데이터 증강 기법을 가능하게 한다.

ABSTRACT

Adversarial examples causing evasive predictions are widely used to evaluate and improve the robustness of machine learning models. However, current studies on adversarial examples focus on supervised learning tasks, relying on the ground-truth data label, a targeted objective, or supervision from a trained classifier. In this paper, we propose a framework of generating adversarial examples for unsupervised models and demonstrate novel applications to data augmentation. Our framework exploits a mutual information neural estimator as an information-theoretic similarity measure to generate adversarial examples without supervision. We propose a new MinMax algorithm with provable convergence guarantees for efficient generation of unsupervised adversarial examples. Our framework can also be extended to supervised adversarial examples. When using unsupervised adversarial examples as a simple plug-in data augmentation tool for model retraining, significant improvements are consistently observed across different unsupervised tasks and datasets, including data reconstruction, representation learning, and contrastive learning. Our results show novel methods and advantages in studying and improving robustness of unsupervised learning problems via adversarial examples. Our codes are available at this https URL.

연구 동기 및 목표

• 현재 지도 학습에 의존하거나 레이블가 필요한 비지도 기계학습 모델을 위한 적대적 예제 생성 방법의 부족을 해결하기 위해.
• 레이블이 없는 자기지도 학습 방법을 통해 비지도 환경에서 모델의 강건성을 향상시킬 수 있는 적대적 예제 생성 기법을 개발하기 위해.
• 비지도 적대적 예제를 플러그인 방식의 데이터 증강 기법으로 활용하여 모델 성능 향상을 입증하기 위해.
• 지도 학습이 없는 조건에서 제안된 MinMax 최적화 프레임워크의 이론적 수렴 보장을 제공하기 위해.
• 적대적 예제의 적용 가능성을 지도 학습을 넘어 비지도 표현 학습 및 대비 학습으로 확장하기 위해.

제안 방법

• 프레임워크는 지도 학습에서의 지도 레이블이 필요 없이 상호정보량 신경추정기(MINE)를 정보이론적 유사도 측정 수단으로 사용하여 적대적 예제 생성을 이끌어낸다.
• 비지도 설정 조건에서 이론적 수렴 보장을 갖는 새로운 MinMax 최적화 알고리즘을 제안하여 적대적 예제를 생성한다.
• 기존 입력과 변형된 입력 간의 상호정보량을 최대화하도록 입력 데이터를 변형함으로써, 모델의 일반화 능력을 시험하는 적대적 예제를 생성한다.
• 이 프레임워크는 모듈러하게 설계되어 레이블 기반 목적함수를 통합함으로써 지도 학습으로도 확장 가능하다.
• 적대적 예제는 원본 및 적대적 샘플을 재학습시킴으로써 데이터 증강으로 활용되며, 이는 강건성과 성능 향상에 기여한다.
• 이 방법은 오토에코더, 대비 학습, 표현 학습 등 다양한 비지도 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 지상 진실 레이블이나 사전 훈련된 분류기가 없는 조건에서 비지도 기계학습 모델에 대해 효과적으로 적대적 예제를 생성할 수 있는가?
• RQ2 지도 학습이 없는 조건에서 상호정보량 추정을 어떻게 적대적 변형의 대체 측정 수단으로 활용할 수 있는가?
• RQ3 비지도 적대적 예제를 데이터 증강으로 활용했을 때, 후속 비지도 학습 성능에 어떤 영향을 미치는가?
• RQ4 이론적 수렴 보장을 갖는 제안된 MinMax 알고리즘이 비지도 환경에서 적대적 예제 생성의 효율성과 안정성을 향상시키는가?
• RQ5 이 프레임워크는 강건성과 성능 향상을 유지하면서 지도 학습으로도 확장 가능한가?

주요 결과

• 제안된 방법은 레이블이나 분류기 출력에 의존하지 않고도 비지도 모델에 대해 적대적 예제를 성공적으로 생성하여 이전에는 다루지 못했던 환경에서의 강건성 평가를 가능하게 한다.
• 상호정보량 신경추정기(MINE)를 유사도 측정 수단으로 사용함으로써, 비지도 학습에서 효과적이고 레이블이 없는 적대적 예제 생성이 가능해진다.
• 이론적 수렴 보장을 갖는 MinMax 알고리즘은 지도 학습이 없는 조건에서도 안정적이고 효율적인 적대적 예제 생성을 보장한다.
• 비지도 적대적 예제를 데이터 증강으로 활용했을 때, 표현 학습 및 대비 학습을 포함한 다양한 비지도 작업에서 일관되고 뚜렷한 성능 향상이 이루어진다.
• 이 프레임워크는 지도 학습으로의 이식성이 입증되어, 비지도 적대적 예제가 지도 학습 환경에서도 성능 향상에 기여할 수 있음을 보여준다.
• 기준 데이터셋에서 재구성 정확도 및 표현 품질 측면에서 최신 기술 수준의 성능 향상을 달성하여, 이 방법의 효과성과 일반화 능력을 입증한다.