[논문 리뷰] Improving Adversarial Robustness via Unlabeled Out-of-Domain Data

Zhun Deng, Linjun Zhang외 2명|arXiv (Cornell University)|2020. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 웹 검색에서 얻은 이미지와 같은 쉽게 확보할 수 있는 레이블이 없는 도메인 외부 데이터를 활용하여 이미지 분류에서의 적대적 내성 강도를 크게 향상시키는 방법을 제안한다. 표준 학습과 내성 강도 학습 간의 샘플 복잡도 격차를 해소할 수 있음을 보여주며, 특히 희박성과 같은 구조적 특성을 공유할 경우, 레이블이 거의 없는 상태에서 CIFAR-10, CINIC-10, SVHN에서 최신 기술 수준의 내성 강도 정확도를 달성한다. 분포 일치가 필요 없으며, 레이블이 없는 데이터의 양도 최소한이다.

ABSTRACT

Data augmentation by incorporating cheap unlabeled data from multiple domains is a powerful way to improve prediction especially when there is limited labeled data. In this work, we investigate how adversarial robustness can be enhanced by leveraging out-of-domain unlabeled data. We demonstrate that for broad classes of distributions and classifiers, there exists a sample complexity gap between standard and robust classification. We quantify to what degree this gap can be bridged via leveraging unlabeled samples from a shifted domain by providing both upper and lower bounds. Moreover, we show settings where we achieve better adversarial robustness when the unlabeled data come from a shifted domain rather than the same domain as the labeled data. We also investigate how to leverage out-of-domain data when some structural information, such as sparsity, is shared between labeled and unlabeled domains. Experimentally, we augment two object recognition datasets (CIFAR-10 and SVHN) with easy to obtain and unlabeled out-of-domain data and demonstrate substantial improvement in the model's robustness against $\ell_\infty$ adversarial attacks on the original domain.

연구 동기 및 목표

• 표준 학습이 내성 강도 학습보다 훨씬 많은 샘플이 필요한, 레이블이 부족한 내성 강도 학습 문제를 해결한다.
• 수집하기 어려운 도메인 내부 데이터에 비해, 이동된(도메인 외부의) 분포에서 유래한 레이블이 없는 데이터가 내성 강도 향상에 기여할 수 있는지 조사한다.
• 희박성과 같은 구조적 특성이 공유될 경우, 도메인 외부 데이터가 도메인 내부 데이터보다 내성 강도 향상에 더 효과적인 조건을 정량화한다.
• 도메인 외부 데이터를 활용한 반감독 학습이 표준 학습과 내성 강도 학습 간의 샘플 복잡도 격차를 해소할 수 있음을 보여준다.
• 이론적 경계와 실증적 검증을 통해, 저비용이며 노이즈가 많은 도메인 외부 데이터(예: 웹 검색에서 확보한 데이터)가 상당한 내성 강도 향상 효과를 낼 수 있음을 제시한다.

제안 방법

• 분포 이동 상황에서 표준 및 내성 강도 분류를 모두 모델링할 수 있는, 정규분포를 가진 특징과 비선형 분류기를 갖춘 융합적 생성 모델을 제안한다.
• 표준 학습과 내성 강도 학습 간의 샘플 복잡도 격차에 대한 이론적 경계를 수립하여, 일반적인 분포 조건에서도 격차가 지속됨을 보여준다.
• 샘플 복잡도 격차의 必要성 을 증명하기 위해 최소-최대 하한선을 도입하여 내성 강도 학습의 이론적 과제를 강화한다.
• 레이블이 있는 데이터를 공통된 구조적 지지(예: 희박한 특징)에 투영하여 효과적 차원을 감소시키는 방식으로, 레이블이 없는 도메인 외부 데이터를 활용하는 반감독 학습 프레임워크를 설계한다.
• 표준 및 적대적 학습을 통한 Wide ResNet 아키텍처를 사용하여 실제 데이터셋에 적용하고, 데이터 증강 및 PGD 공격을 평가에 활용한다.
• Bing 이미지 검색 및 웹 스크래핑을 통해 대규모 저품질 도메인 외부 데이터셋(Cheap-10)을 생성한 후, 리사이징하여 CIFAR-10 및 CINIC-10에 증강한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 도메인 외부 데이터가 표준 학습과 내성 강도 학습 간의 샘플 복잡도 격차를 줄일 수 있는가?
• RQ2 어떤 조건에서 도메인 외부 데이터를 사용할 경우 도메인 내부 레이블이 없는 데이터보다 더 높은 적대적 내성 강도를 달성할 수 있는가?
• RQ3 두 도메인 간의 공통된 구조적 정보(예: 희박성)가 도메인 외부 데이터의 내성 강도 향상 효과에 어떤 영향을 미치는가?
• RQ4 노이즈가 많고 품질이 낮은, 쉽게 확보할 수 있는 도메인 외부 데이터가 청소된 도메인 내부 데이터보다 얼마나 높은 내성 강도 향상을 이룰 수 있는가?
• RQ5 반감독 적대적 학습에서 데이터 품질, 분포 이동, 내성 강도 정확도 간의 이론적·실증적 트레이드오프는 어떠한가?

주요 결과

• 도메인 외부의 레이블이 없는 데이터는 적대적 내성 강도를 상당히 향상시킬 수 있으며, 특히 Cheap-10 데이터를 활용해 CIFAR-10의 내성 강도 정확도가 크게 향상된다.
• 일부 설정에서는 도메인 외부 데이터가 도메인 내부 레이블이 없는 데이터보다 더 높은 내성 강도 정확도를 달성한다. 특히 희박성과 같은 구조적 특성이 공유될 경우에 특히 그렇다.
• 이론적 분석을 통해 표준 학습과 내성 강도 학습 간의 지속적인 샘플 복잡도 격차가 존재하며, 이 격차는 레이블이 없는 도메인 외부 데이터를 통해 메울 수 있음을 확인한다.
• 두 도메인 간에 공통된 희박성 구조가 존재할 경우, 희박성의 정확한 지식이 없더라도 이를 효과적으로 활용할 수 있으며, 내성 강도 향상에 기여한다.
• CIFAR-10 및 CINIC-10에서의 실증 결과는 Cheap-10(500만 장)을 추가할 경우 원본 데이터셋만 사용하는 것보다 더 높은 내성 강도 정확도를 달성함을 보여준다.
• SVHN에서는 도메인 외부 데이터의 내성 강도 향상 효과가 노이즈 수준에 따라 달라지며, 데이터 품질과 성능 향상 사이에 명확한 트레이드오프가 존재한다.