[논문 리뷰] Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty

Dan Hendrycks, Mantas Mazeika외 2명|arXiv (Cornell University)|2019. 06. 28.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 343

한 줄 요약

본 논문은 자기지도(rotation) 예측이 적대적扰动, 라벨 노이즈, 일반적 손상에 대한 강인성을 개선하고, 배출(out-of-distribution) 탐지 성능을 크게 향상시키며, 일부 경우 완전히 감독된 방법을 능가하기도 한다.

ABSTRACT

Self-supervision provides effective representations for downstream tasks without requiring labels. However, existing approaches lag behind fully supervised training and are often not thought beneficial beyond obviating or reducing the need for annotations. We find that self-supervision can benefit robustness in a variety of ways, including robustness to adversarial examples, label corruption, and common input corruptions. Additionally, self-supervision greatly benefits out-of-distribution detection on difficult, near-distribution outliers, so much so that it exceeds the performance of fully supervised methods. These results demonstrate the promise of self-supervision for improving robustness and uncertainty estimation and establish these tasks as new axes of evaluation for future self-supervised learning research.

연구 동기 및 목표

• 레이블이 부족하거나 비레이블드 신호가 가치 있는 상황에서 강인하고 신뢰성 있는 모델을 만들고자 한다.
• 자기지도 목표가 적대적 예제, 라벨 손상, 입력 손상에 대한 강인성을 향상시킬 수 있는지 조사한다.
• 도전적인 유사 분포 조건에서의 OOD 탐지에 대한 자기지도학습의 영향을 검토한다.

제안 방법

• 자기지도 손실을 사용하여 이미지 회전(0, 90, 180, 270도)을 예측하는 보조 헤드를 갖춘 분류기를 훈련한다.
• 일반적인 감독적 교차 엔트로피 손실과 회전 기반 자기지도 손실을 합치고, 가중치 λ를 곱한다(0.5로 설정).
• 훈련 중 분류 손실과 회전 손실 둘 다를 최대화하도록 PGD 적대적 학습 objective를 수정한다.
• WRN-40-2 네트워크를 사용하여 적대적扰动(PGD 20스텝 및 100스텝) 및 일반 손상(CIFAR-10-C)에 대한 강인성을 평가한다.
• 회전 기반 자기지도와 감독 표현을 결합하고 KL-발산 + 회전 점수 감지기를 사용하여 OOD 탐지를 테스트한다.
• 더 큰 자기지도 목표와 구조적 변형(예: Self-attention)으로 성능을 향상시키기 위해 ImageNet으로 실험을 확장한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 표준적 적대적 학습을 넘어서는 강인성을 적대적扰动에 대해 향상시킬 수 있는가?
• RQ2 회전 기반 자기지도는 일반 입력 손상 및 라벨 노이즈에 대한 강인성을 향상시키는가?
• RQ3 자기지도는 특히 근유사 분포의 OOD 경우에서 OOD 탐지를 향상시킬 수 있는가?
• RQ4 자기지도 기법이 ImageNet과 같은 더 큰 데이터 세트로 확장되어 완전히 감독된 모델보다 이익을 낳는가?

주요 결과

• 보조 회전 자기지도는 표준 PGD 학습 대비 20스텝 및 100스텝 적대자에서 5.6퍼센트 포인트의 개선을 제공한다.
• 회전 기반 접근법은 PGD 학습보다 최대 11% 더 큰扰动에도 성능 저하 없이 버틴다.
• TRADES와 결합될 때, 회전은 TRADES 대비 1.22퍼센트 포인트의 강인도 정확도 향상을, PGD 학습 대비 7.79퍼센트 포인트의 향상을 제공한다.
• CIFAR-10-C에서 회전 자기지도는 평균 강인성을 72.3%에서 76.9%로 증가시키며(4.6 포인트), 깨끗한 정확도는 거의 일정하게 유지된다.
• OOD 탐지에서 회전 기반 자기지도는 CIFAR-10 실험의 기본 최대 소프트맥스 확률 방법 대비 AUROC를 평균 약 4.8 퍼센트 포인트 향상시킨다.
• CIFAR-10의 원-클래스 OOD 과제에서 자기지도 RotNet 기반 탐지기는 여러 완전 감독 및 다른 자기지도 기반 기준선을 능가하며, 일부 외부 데이터 사용 방법보다도 우수한 성능을 보인다.