[논문 리뷰] How benign is benign overfitting?

Amartya Sanyal, Puneet K. Dokania외 2명|arXiv (Cornell University)|2020. 07. 08.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 12

한 줄 요약

이 논문은 자연적 정확도가 높은 성과를 내는 데에도 불구하고 딥 네ural 네트워크가 외부 공격에 여전히 취약한 이유를 조사한다. 양호한 오버피팅을 통해 달성된 높은 정확도에도 불구하고, 이는 레이블 노이즈와 SGD 학습에서의 암묵적 인도적 편향이 주요 원인임을 규명하며, 강건성은 단지 적대적 훈련만으로는 부족하고, 더 나은 표현 학습과 연관된 복잡한 결정 경계가 필요하다는 것을 보여준다.

ABSTRACT

We investigate two causes for adversarial vulnerability in deep neural networks: bad data and (poorly) trained models. When trained with SGD, deep neural networks essentially achieve zero training error, even in the presence of label noise, while also exhibiting good generalization on natural test data, something referred to as benign overfitting [2, 10]. However, these models are vulnerable to adversarial attacks. We identify label noise as one of the causes for adversarial vulnerability, and provide theoretical and empirical evidence in support of this. Surprisingly, we find several instances of label noise in datasets such as MNIST and CIFAR, and that robustly trained models incur training error on some of these, i.e. they don't fit the noise. However, removing noisy labels alone does not suffice to achieve adversarial robustness. Standard training procedures bias neural networks towards learning "simple" classification boundaries, which may be less robust than more complex ones. We observe that adversarial training does produce more complex decision boundaries. We conjecture that in part the need for complex decision boundaries arises from sub-optimal representation learning. By means of simple toy examples, we show theoretically how the choice of representation can drastically affect adversarial robustness.

연구 동기 및 목표

• 자연적 오버피팅을 보이는 딥 네럴 네트워크에서 적대적 취약성의 근본 원인을 이해하는 것.
• 표준 데이터셋(MNIST, CIFAR-10 등)의 레이블 노이즈가 적대적 취약성에 기여하는지 여부를 조사하는 것.
• SGD가 단순한 결정 경계를 향한 인도적 편향을 지닌다는 점이 강건성에 어떤 영향을 미치는지 분석하는 것.
• 세부 레이블을 통한 표현 학습 향상(예: 세부 레이블)이 적대적 강건성 향상에 기여하는지 평가하는 것.
• 강건성과 정확도가 본질적으로 상충 관계임을 전제로 하는 가정에 도전하는 것 — 특히 강건한 분류기가 존재할 경우에 대해

제안 방법

• 레이블 노이즈를 명시적으로 도입한 시뮬레이션 데이터 분포를 통한 이론적 분석을 통해 레이블 노이즈가 적대적 강건성에 미치는 영향을 연구하는 것.
• 실제 데이터셋(MNIST, CIFAR-10)을 대상으로 한 레이블 노이즈 탐지 및 정량 분석을 수행하며, 모델 오류의 수동 검증을 활용하는 것.
• 표준 훈련과 적대적 훈련(예: AT, TRADES) 간 비교를 통해 노이즈가 있거나 이질적인 예측에 대한 일반화 능력을 평가하는 것.
• 체르노프 경계와 농도 불등식을 활용하여 노이즈 환경에서의 레이블 분포 및 다수결 정확도에 대한 확률적 보장을 도출하는 것.
• 다양한 특징 표현이 결정 경계의 복잡성에 어떤 영향을 미치며, 이로 인해 적대적 강건성이 어떻게 달라지는지 보여주는 토이 예제를 구성하는 것.
• 세부 레이블(예: CIFAR-100)을 통한 강건성 정확도 평가를 통해 더 풍부한 감독이 강건성에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 MNIST 및 CIFAR-10과 같은 표준 데이터셋의 레이블 노이즈가 자연 정확도가 높은 모델의 적대적 취약성에 어느 정도 기여하는가?
• RQ2 강건하게 훈련된 모델이 노이즈 레이블을 기억하지 못하는 이유는 무엇이며, 이는 이질적이지만 올바르게 레이블이 지정된 예측(예: 희귀 강아지 품종)에 대한 일반화에 어떤 영향을 미치는가?
• RQ3 SGD가 단순한 결정 경계를 향한 인도적 편향을 지닌다는 점이 적대적 강건성에 어떻게 악영향을 미치는가?
• RQ4 세부 레이블을 통한 표현 학습 향상 등으로 더 강건한 결정 경계를 만들 수 있을까? 이는 자연 정확도를 희생시키지 않고 가능할까?
• RQ5 강건성과 정확도 사이의 상충관계는 필수적인가, 아니면 데이터 분포 자체가 강건하게 분리 가능할 경우 강건한 분류기가 존재할 수 있는가?

주요 결과

• MNIST 및 CIFAR-10와 같은 표준 데이터셋에서 레이블 노이즈가 널리 퍼져 있으며, 실증적 증거로 AT 및 TRADES와 같은 적대적 훈련 방법이 이러한 노이즈 레이블을 기억하지 않는다는 것이 확인되었다.
• 강건한 훈련 모델은 노이즈가 있는 예제뿐 아니라 이질적이지만 올바르게 레이블이 지정된 예제(예: 희귀 강아지 품종)에 대해서도 훈련 오차를 보이며, 이는 양쪽 모두를 기억하지 않는다는 것을 시사한다.
• 이론적 분석 결과, 훈련 오차가 0이 되고 자연 정확도가 높더라도 레이블 노이즈가 존재할 경우 적대적 리스크가 0.1 이상일 수 있음을 보여주었다.
• 적대적 훈련은 표준 SGD 훈련보다 더 복잡한 결정 경계를 생성함으로써, 강건성 향상을 위한 인도적 편향의 이동을 나타낸다.
• 세부 레이블(예: CIFAR-100)을 통한 레이블링은 강건성 정확도를 높이며, 더 나은 표현 학습이 적대적 강건성 향상에 기여함을 입증한다.
• 강건한 분류기가 존재하는 환경(예: 인간이 강건하게 분리 가능한 경우)에서는 강건성과 정확도 사이의 상충관계가 필수적인 것이 아니며, 적절한 표현을 학습할 경우 강건성과 높은 자연 정확도가 공존할 수 있다.