[논문 리뷰] Improved Sample Complexities for Deep Neural Networks and Robust Classification via an All-Layer Margin

Colin Wei, Tengyu Ma|arXiv (Cornell University)|2020. 04. 30.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 11

한 줄 요약

이 논문은 딥 네URAL 네트워크를 위한 새로운 마진 개념인 '모든 레이어 마진'을 소개한다. 이 마진은 일반화와 깊이에 관계없이 명확한 관계를 수립한다. 이 마진을 분석함으로써 저자들은 더 날카운 일반화 경계를 유도하고, 적대적 방어성 테스트 오차에 대한 첫 번째 직접 분석을 가능하게 하며, 모든 레이어 마진을 증가시켜 테스트 성능을 향상시키는 새로운 훈련 알고리즘을 제안한다.

ABSTRACT

For linear classifiers, the relationship between (normalized) output margin and generalization is captured in a clear and simple bound – a large output margin implies good generalization. Unfortunately, for deep models, this relationship is less clear: existing analyses of the output margin give complicated bounds which sometimes depend exponentially on depth. In this work, we propose to instead analyze a new notion of margin, which we call the “all-layer margin.” Our analysis reveals that the all-layer margin has a clear and direct relationship with generalization for deep models. We present three concrete applications of the all-layer margin: 1) by analyzing the all-layer margin, we obtain tighter generalization bounds for neural nets which depend on Jacobian and hidden layer norms and remove the exponential dependency on depth 2) our neural net results easily translate to the adversarially robust setting, giving the first direct analysis of robust test error for deep networks, and 3) we present a theoretically inspired training algorithm for increasing the all-layer margin and demonstrate that our algorithm improves test performance over strong baselines in practice.

연구 동기 및 목표

• 딥 네URAL 네트워크에 대한 명확하고 깊이에 관계없는 일반화 이론의 부족을 해결하기 위해.
• 기존의 출력 마진 분석이 지수적 깊이 의존성을 가지는 복잡한 경계를 도출하는 데서 비롯되는 한계를 극복하기 위해.
• 적대적으로 방어적인 일반화를 직접 분석할 수 있는 마진 기반 프레임워크를 개발하기 위해.
• 모든 레이어 마진을 최대화함으로써 테스트 성능을 향상시키는 이론적으로 타당한 훈련 알고리즘을 설계하기 위해.

제안 방법

• 모든 레이어 마진을 새로운 마진 측정 기준으로 제안하여, 마지막 출력 레이어뿐만 아니라 네트워크의 모든 레이어의 기여도를 고려한다.
• 숨겨진 레이어 활성화의 노름과 네트워크의 자코비안 노름에 의존하는 일반화 경계를 유도하며, 네트워크 깊이에 대한 지수적 의존성을 피한다.
• 모든 레이어 마진 분석을 적대적 방어성 설정으로 확장하여, 방어적 테스트 오차에 대한 직접적인 경계를 가능하게 한다.
• 최적화 과정에서 모든 레이어 마진을 명시적으로 증가시키는 훈련 알고리즘을 개발하며, 네트워크 파라미터에 대한 기울기 기반 업데이트를 사용한다.
• 표준 훈련 동역학을 유지하면서 큰 모든 레이어 마진을 유도하는 정규화된 훈련 목표함수를 활용한다.

실험 결과

연구 질문

• RQ1 표준 출력 마진보다 딥 네트워크의 일반화를 더 명확히 반영할 수 있는 마진 개념을 정의할 수 있는가?
• RQ2 기존 방법과 비교해 모든 레이어 마진이 더 날카운 깊이에 관계없는 일반화 경계를 제공하는가?
• RQ3 모든 레이어 마진을 사용하여 딥 네트워크에서 적대적 방어성에 대한 첫 번째 직접 이론적 분석을 도출할 수 있는가?
• RQ4 모든 레이어 마진을 최적화함으로써 실질적으로 일반화 성능이 향상되는가?

주요 결과

• 모든 레이어 마진은 일반화와 직접적이고 깊이에 관계없는 관계를 수립하여, 기존 표준 출력 마진 분석에서 나타나는 모호성을 해결한다.
• 모든 레이어 마진를 통해 도출된 일반화 경계는 은닉 레이어의 노름과 자코비안의 노름에 의존하며, 네트워크 깊이에 대한 지수적 의존성을 피한다.
• 이 프레임워크는 딥 네트워크에서 방어적 테스트 오차에 대한 첫 번째 직접적인 이론적 분석을 가능하게 하여, 적대적 방어성에 대한 원칙적인 접근법을 제공한다.
• 모든 레이어 마진을 최대화하는 데 초점을 맞춘 제안된 훈련 알고리즘은 벤치마크 데이터셋에서 강력한 기준 모델들보다 향상된 테스트 성능을 달성한다.