[논문 리뷰] Boundary thickness and robustness in learning models

Yaoqing Yang, Rajiv Khanna외 6명|arXiv (Cornell University)|2020. 07. 09.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 분류기의 강건성에 핵심적인 척도로 경계 두께를 도입하며, 두꺼운 경계가 과적합을 감소시키고 적대적 예제 및 분포 외(OOD) 입력에서 성능을 향상시킨다는 것을 보여준다. 경계 두께를 미믹업 학습과 연결하고, 노이즈 증강된 미믹업을 통해 이를 강화함으로써, 다양한 벤치마크에서 강건한 일반화와 적대적 강건성을 향상시킨다.

ABSTRACT

Robustness of machine learning models to various adversarial and non-adversarial corruptions continues to be of interest. In this paper, we introduce the notion of the boundary thickness of a classifier, and we describe its connection with and usefulness for model robustness. Thick decision boundaries lead to improved performance, while thin decision boundaries lead to overfitting (e.g., measured by the robust generalization gap between training and testing) and lower robustness. We show that a thicker boundary helps improve robustness against adversarial examples (e.g., improving the robust test accuracy of adversarial training) as well as so-called out-of-distribution (OOD) transforms, and we show that many commonly-used regularization and data augmentation procedures can increase boundary thickness. On the theoretical side, we establish that maximizing boundary thickness during training is akin to the so-called mixup training. Using these observations, we show that noise-augmentation on mixup training further increases boundary thickness, thereby combating vulnerability to various forms of adversarial attacks and OOD transforms. We can also show that the performance improvement in several lines of recent work happens in conjunction with a thicker boundary.

연구 동기 및 목표

• 기계 학습 분류기에서 결정 경계 두께의 개념을 체계화하고 정량화하는 것.
• 경계 두께와 적대적 예제 및 OOD 분포에 대한 강건성 간의 이론적 및 실험적 연결을 확립하는 것.
• 정규화 및 데이터 증강 기법이 경계 두께를 증가시켜 강건성을 향상시킨다는 것을 보여주는 것.
• 노이즈 증강된 미믹업 학습이 경계 두께를 증가시켜 강건한 일반화를 향상시킨다는 것을 보여주는 것.
• 최근의 강건한 학습 방법에서의 성능 향상 요인을 경계 두께 증가의 관점에서 설명하는 것.

제안 방법

• 특징 공간에서 결정 경계에서 가장 가까운 훈련 데이터 포인트까지의 최소 거리로 경계 두께를 기하학적 척도로 정의하는 것.
• 경계 두께 최대화가 훈련 샘플 간의 선형 보간을 수행하는 미믹업 학습의 목적과 이론적으로 연결되는 것.
• 보간 과정 중에 난수를 추가하여 경계 두께를 추가로 증가시키는 노이즈 증강된 미믹업 학습을 제안하는 것.
• 표준, 적대적, 데이터 증강 학습과 같은 다양한 학습 방식 간의 경계 두께를 비교하기 위해 실험적 평가를 수행하는 것.
• 적대적 및 OOD 변형에 대한 강건한 일반화 갭과 강건한 테스트 정확도를 통해 강건성을 측정하는 것.
• 다양한 데이터셋과 아키텍처에서 경계 두께와 모델 성능 간의 관계를 분석하는 것.

실험 결과

연구 질문

• RQ1 결정 경계 두께는 적대적 및 OOD 예제에 대한 모델 강건성과 어떻게 관련이 있는가?
• RQ2 일반적인 정규화 및 데이터 증강 기법이 경계 두께를 어느 정도 증가시키는가?
• RQ3 표준 미믹업에 비해 노이즈 증강된 미믹업 학습이 결정 경계를 더 두껍게 만들 수 있는가?
• RQ4 최근의 강건한 학습 방법에서의 성능 향상은 경계 두께 증가 때문인가?
• RQ5 경계 두께 최대화와 미믹업 학습 목표 간의 이론적 연결은 무엇인가?

주요 결과

• 더 두꺼운 결정 경계는 강건한 일반화 갭이 훈련 및 테스트 성능 간에 감소함으로써 개선된 강건한 일반화와 강력한 상관관계를 보인다.
• 노이즈 증강된 미믹업으로 학습된 모델는 표준 미믹업에 비해 훨씬 두꺼운 경계를 보이며, 적대적 공격에 대해 더 높은 강건한 테스트 정확도를 달성한다.
• CutMix 및 Cutout과 같은 많은 정규화 및 데이터 증강 기법은 경계 두께를 증가시키며, 이는 개선된 강건성과 상관관계가 있다.
• 이론적 분석을 통해 경계 두께 최대화가 미믹업 학습의 목적 함수와 동치임을 확인하였으며, 이는 미믹업의 기하학적 해석을 제공한다.
• 최근의 강건한 학습 방법(예: 적대적 학습 또는 일致성 정규화를 사용하는 방법)에서의 성능 향상은 측정 가능한 경계 두께 증가와 동시에 발생한다.
• 경계 두께는 다양한 학습 전략에서 개선된 강건성에 대한 통합적인 기하학적 설명을 제공한다.