[논문 리뷰] Robustness to Adversarial Perturbations in Learning from Incomplete Data

Amir Najafi, Shin‐ichi Maeda외 2명|arXiv (Cornell University)|2019. 05. 24.

Adversarial Robustness in Machine Learning인용 수 33

한 줄 요약

반지도학습 SSDRL(semi-supervised distributionally robust learning framework)이 SSL과 DRL을 통합하고 SGD 기반 알고리즘과 일반화 보장을 제공하며 MNIST, SVHN, CIFAR-10에서 평가됩니다.

ABSTRACT

What is the role of unlabeled data in an inference problem, when the presumed underlying distribution is adversarially perturbed? To provide a concrete answer to this question, this paper unifies two major learning frameworks: Semi-Supervised Learning (SSL) and Distributionally Robust Learning (DRL). We develop a generalization theory for our framework based on a number of novel complexity measures, such as an adversarial extension of Rademacher complexity and its semi-supervised analogue. Moreover, our analysis is able to quantify the role of unlabeled data in the generalization under a more general condition compared to the existing theoretical works in SSL. Based on our framework, we also present a hybrid of DRL and EM algorithms that has a guaranteed convergence rate. When implemented with deep neural networks, our method shows a comparable performance to those of the state-of-the-art on a number of real-world benchmark datasets.

연구 동기 및 목표

• 무라 데이터 라벨링이 없는 데이터가 적대적 분포 shifts 하에서 학습에 어떻게 도움을 줄 수 있는가를 동기 부여한다.
• Wasserstein 모호성 집합 하에서 반지도학습과 분포적으로 강건한 학습을 결합하는 프레임워크를 개발한다.
• novel한 적대적 Rademacher 복잡도와 일반화 경계를 포함한 이론적 보장을 제공한다.
• SSDRL에 대한 수렴 보장을 가진 최적화 알고리즘을 제안한다.
• 딥 네트워크를 사용하여 실제 데이터셋에서 경쟁력 있는 실험적 성능을 입증한다.

제안 방법

• DRL을 부분적으로 라벨링된 데이터에 확장하여 라벨링된 데이터와 라벨링되지 않은 데이터에 대한 일관된 분포 집합을 정의한다.
• 라벨링되지 않은 데이터에 소프트 레이블을 부여하여 과적합(낙관)이나 하드 레이블(비관)을 피하는 자기학습 스킴을 도입한다(매개변수화된 손실 항을 통해).
• SSD RL 목표를 Wasserstein 구역 내의 분포 S에 대한 infimum과 라벨이 없는 데이터에 대한 규제된 엔트로피 항(식 (5))으로 정의한다.
• 내부 최적화가 소프트-민(soft-min) 연산자를 통해 해석적 해를 가짐을 보인다(정의 3 및 식 6–8).
• SSDRL 목표의 로컬 최솟값으로 수렴하는 SGD 알고리즘(Algorithm 1)과 수렴 보장(Theorem 2)을 제공한다.
• 부분 라벨이 있는 적대적 교란을 다루기 위해 새로운 Semi-Supervised Monge (SSM) Rademacher 복잡도를 사용하여 일반화 경계를 도출한다(섹션 2.3).

실험 결과

연구 질문

• RQ1 라벨링되지 않은 데이터가 반지도학습에서 분포적 적대자에 대한 견고성을 어떻게 향상시키는가?
• RQ2 Wasserstein 교란 하에서 SSL과 분포적으로 강건한 학습을 결합할 때의 이론적 일반화 보장은 무엇인가?
• RQ3 딥 뉴럴 네트워크에서 SSDRL에 대한 수렴 보장을 갖는 실용적 최적화 알고리즘을 개발할 수 있는가?
• RQ4 제안된 SSAR 기반 목표가 기존 DRL 및 SSL 방법과 어떤 관련이 있으며, 레이블 할당에서 낙관성과 비관의 효과는 무엇인가?

주요 결과

• SSDRL은 SSL과 DRL을 통합하여 반지도 학습 환경에서 분포적 교란에 대한 강인성을 제공한다.
• 이 프레임워크는 소프트 레이블링을 활용한 이중 최적화 및 Wasserstein 기반 적대적 위험 목표를 도입한다.
• 제안된 SGD 알고리즘에 대한 수렴 속도(O(T^{-1/2}))가 명시된 조건하에서 보장된다.
• 적대적 반지도학습에서 일반화 보장을 제공하는 Novel한 SSM Rademacher 복잡도.
• MNIST, SVHN, CIFAR-10에서 SSDRL이 의사레이블링 및 감독 DRL과 비슷하거나 이를 능가하는 성능을 보이며, 일부 데이터셋에서 VAT 성능도 경쟁력 있음.