[논문 리뷰] Regularizing Neural Networks via Adversarial Model Perturbation

Yaowei Zheng, Richong Zhang외 1명|arXiv (Cornell University)|2020. 10. 10.

Advanced Neural Network Applications참고 문헌 54인용 수 7

한 줄 요약

이 논문은 깊이 신경망의 일반화 성능을 햖스키는 새로운 정규화 기법인 적대적 모델 편향(AMP)을 제안한다. 이 기법은 모델 파라미터의 노름 유계 편향 내에서 가장 악성인 경험 위험을 최소화하는 'AMP 손실'을 유도함으로써 성능을 향상시킨다. 이 방법은 이론적으로 평탄한 최소값을 선호하며, MixUp 및 플로oding과 같은 기존 정규화 기법들을 능가하는 최신 기준 수준의 성능을 여러 이미지 분류 벤치마크에서 달성한다.

ABSTRACT

Effective regularization techniques are highly desired in deep learning for alleviating overfitting and improving generalization. This work proposes a new regularization scheme, based on the understanding that the flat local minima of the empirical risk cause the model to generalize better. This scheme is referred to as adversarial model perturbation (AMP), where instead of directly minimizing the empirical risk, an alternative "AMP loss" is minimized via SGD. Specifically, the AMP loss is obtained from the empirical risk by applying the "worst" norm-bounded perturbation on each point in the parameter space. Comparing with most existing regularization schemes, AMP has strong theoretical justifications, in that minimizing the AMP loss can be shown theoretically to favour flat local minima of the empirical risk. Extensive experiments on various modern deep architectures establish AMP as a new state of the art among regularization schemes. Our code is available at https://github.com/hiyouga/AMP-Regularizer.

연구 동기 및 목표

• 경험 위험의 평탄한 국소 최소값을 목표로 하여 딥 네ural 네트워크의 일반화 성능을 향상시키는 원리적인 정규화 기법을 개발한다.
• MixUp 및 레이블 스무딩과 같은 기존 히우리스틱 정규화 기법들에 대한 강력한 이론적 근거가 부족한 문제를 해결한다.
• 모델 파라미터의 적대적 편향이 날카로운 최소값을 암묵적으로 페널티 부여하고 더 평탄하고 일반화 성능이 뛰어난 해를 촉진할 수 있는지 조사한다.
• 표준 이미지 분류 벤치마크에서 최신 정규화 기법들과의 성능 비교를 수행한다.
• 편향의 크기 영향이 모델의 일반화 및 校정성에 미치는 영향을 분석하고, 계산 오버헤드를 평가한다.

제안 방법

• 모델 파라미터의 ℓ2-구역 내 모든 편향에 대해 경험 위험의 최대값으로 AMP 손실을 정의한다: ℒ_AMP(θ) = max_{||Δ||≤ε} ℒ_ERM(θ + Δ).
• 미니배치 확률적 경사하강법을 사용하여 AMP 손실을 최소화함으로써, 파라미터 공간 내 작은 적대적 편향에 대해 안정적인 모델 학습을 유도한다.
• AMP 손실 최소화가 기울기 노름에 대한 추가 페널티를 포함하는 정규화된 경험 위험 최소화와 동치임을 보이며, 이는 다른 이론적 해석을 제공한다.
• 계산 비용과 효과성의 균형을 고려해, 적대적 편향을 계산하기 위해 단일 내부 최적화 단계(N=1)를 사용하여 AMP 학습 절차를 구현한다.
• 파라미터 공간에서의 최대 풀링 유사성 활용: AMP 손실은 경험 위험의 '최악의 경우' 스무딩 역할을 하며, 평탄한 영역을 선호한다.
• 국소 최소값의 가장 좁은 너비를 평탄함의 척도로 사용하고, AMP 최소화가 암묵적으로 좁은 최소값을 페널티 부여함을 보여준다.

실험 결과

연구 질문

• RQ1 파라미터 공간에서의 모델 파라미터에 대한 적대적 편향이 더 평탄한 최소값과 향상된 일반화를 이끌 수 있는가?
• RQ2 AMP 정규화 기법은 MixUp 및 플로oding과 같은 기존의 데이터 의존 정규화 기법과 비교해 테스트 정확도와 校정성 측면에서 어떻게 성능을 내는가?
• RQ3 가장 뛰어난 일반화 성능를 달성하기 위한 최적의 편향 크기 ε는 얼마인가?
• RQ4 Expected Calibration Error (ECE)로 측정했을 때, AMP는 모델의 校정성 향상에 기여하는가?
• RQ5 표준 ERM 학습 대비 AMP의 계산 비용은 얼마나 되며, 성능을 손상시키지 않고 효율적으로 만들 수 있는가?

주요 결과

• AMP는 SVHN, CIFAR-10, CIFAR-100에서 ERM, MixUp, 플로oding, 레이블 스무딩을 모두 능가하는 최신 기준 수준의 테스트 정확도를 달성한다.
• CIFAR-10에서 AMP는 Expected Calibration Error (ECE)를 2.1%로 줄여 다른 방법들보다 뛰어난 모델 校정성 을 보여준다.
• 최적의 편향 반경 ε ≈ 0.06에서 최소 테스트 오차를 기록하며, 선택된 최소값의 평탄함과 깊이 사이의 트레이드오���을 확인한다.
• N=1 내부 반복을 사용한 AMP 학습은 표준 ERM 학습 대비 학습 시간을 1.8배로만 증가시켜 계산적으로 실현 가능하다.
• AMP 손실의 지형도는 오른쪽(평탄한) 최소값이 왼쪽(날카로운) 최소값보다 낮음을 보여주며, 이는 AMP가 평탄한 최소값을 선호함을 확인한다.
• AMP는 국소 최소값의 가장 좁은 너비가 암묵적으로 최소화됨을 통해 더 넓은 골짜기를 가진 최소값을 선택함으로써 일반화 성능을 향상시킨다.