[논문 리뷰] Improved Sample Complexities for Deep Networks and Robust Classification via an All-Layer Margin

Colin Wei, Tengyu Ma|arXiv (Cornell University)|2019. 10. 09.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 28

한 줄 요약

이 논문은 깊이에 관계없이 더 날카운 generalization bound를 가능하게 하기 위해 모든 레이어를 통합하여 정규화된 마진을 정의하는 새로운 일반화 측정법인 all-layer margin을 제안한다. 이는 표준 및 강건한 일반화 모두에서 더 나은 샘플 복잡도를 달성하며, 이 마진을 명시적으로 최대화함으로써 청소 및 적대적 공격에 강건한 테스트 정확도를 향상시키는 훈련 알고리즘(AMO)을 제안한다.

ABSTRACT

For linear classifiers, the relationship between (normalized) output margin and generalization is captured in a clear and simple bound -- a large output margin implies good generalization. Unfortunately, for deep models, this relationship is less clear: existing analyses of the output margin give complicated bounds which sometimes depend exponentially on depth. In this work, we propose to instead analyze a new notion of margin, which we call the "all-layer margin." Our analysis reveals that the all-layer margin has a clear and direct relationship with generalization for deep models. This enables the following concrete applications of the all-layer margin: 1) by analyzing the all-layer margin, we obtain tighter generalization bounds for neural nets which depend on Jacobian and hidden layer norms and remove the exponential dependency on depth 2) our neural net results easily translate to the adversarially robust setting, giving the first direct analysis of robust test error for deep networks, and 3) we present a theoretically inspired training algorithm for increasing the all-layer margin. Our algorithm improves both clean and adversarially robust test performance over strong baselines in practice.

연구 동기 및 목표

• 선형 모델과는 달리 딥 네트워크에서 마진과 일반화 간의 명확하고 해석 가능한 관계가 부족한 문제를 해결하기 위해.
• 기존의 일반화 경계가 네트워크 깊이에 따라 지수적으로 악화되거나 복잡한 정규화 인자에 의존하는 문제를 해결하기 위해.
• 강건한 분류 설정으로 마진 분석을 확장하여, 강건한 테스트 오차에 대한 첫 번째 직접적인 일반화 경계를 제공하기 위해.
• all-layer margin을 최대화하는 것으로 이론적으로 근거를 둔 훈련 알고리즘을 개발하여 일반화 성능을 향상시키기 위해.

제안 방법

• 모든 레이어의 최소 마진을 각 레이어의 복잡도(예: 가중치 노름 또는 커버링 수)로 정규화한 all-layer margin을 제안한다.
• 일반화 경계(정리 2.3)를 유도하여 선형 경우와 유사하게 구성한다: 테스트 오차는 (복잡도 합 / all-layer margin)²의 평균 비례로 증가하며, 깊이에 따라 지수적으로 악화되지 않는다.
• 출력 마진과 국소 리프시츠 상수를 바탕으로 all-layer margin에 하한을 설정하여, 데이터에 의존하는 더 날카운 경계를 가능하게 한다.
• ℓ∞-볼 내의 변형된 입력에 대해 강건한 all-layer margin을 정의하여, 적대적 설정으로 all-layer margin을 확장한다.
• 강건한 분류에 동일한 일반화 프레임워크를 적용하여, 데이터에 의존하는 항목을 적대적 이웃 내에서의 최악의 경우 값으로 대체한 경계를 도출한다.
• 백프로파게이션 동안 all-layer margin을 최대화하도록 최적화하는 훈련 알고리즘(AMO)을 개발한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 선형 모델과 같이 일반화를 명확히 기술할 수 있는 통합된 마진 개념을 정의할 수 있는가?
• RQ2 딥 네트워크의 일반화 경계를 네트워크 깊이에 따라 지수적으로 악화되지 않게 유도할 수 있는가?
• RQ3 all-layer margin 프레임워크를 강건한 모델의 일반화 보장을 제공하도록 확장할 수 있는가?
• RQ4 all-layer margin을 최대화하는 원리에 기반한 훈련 알고리즘이 청소 및 강건한 테스트 성능을 향상시킬 수 있는가?

주요 결과

• all-layer margin은 깊이에 따라 지수적으로 악화되지 않으며 선형 경우와 유사한 형태를 띠는 일반화 경계(정리 2.3)를 가능하게 한다.
• ReLU 네트워크의 경우, 이전 연구(Nagarajan & Kolter, 2019)에서 존재했던 역전압 활성화 의존성의 부재로 인해 더 날카운, 실용적인 보장을 제공한다.
• 강건한 분류를 위한 일반화 경계(정리 4.1)는 강건한 테스트 오차에 대한 첫 번째 직접적 분석으로, 청소 일반화 경계와 유사한 구조를 가지지만 최악의 이웃 값으로 대체된 항목을 사용한다.
• 제안된 AMO 훈련 알고리즘은 VGG-19를 사용한 CIFAR-10에서 청소 테스트 오차를 0.6%p 향상시켰다(5.66%에서 5.06%로), WideResNet28-10에서는 강건 오차를 최대 0.98%p 감소시켰다.
• 드롭아웃과 비교했을 때, AMO는 훈련 확률을 최적화해도 CIFAR-100의 WRN28-10에서 오차를 0.99%p 감소시켰다(18.77%에서 17.78%로).
• 이 방법은 하이퍼파rameter 선택에 대해 강건하며, $t$(편미경 단계 수)와 $\eta_{\text{perturb}}$(학습률)의 다양한 값에서도 성능이 안정적이다.