[논문 리뷰] Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation

Colin Wei, Tengyu Ma|arXiv (Cornell University)|2019. 05. 09.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 45

한 줄 요약

이 논문은 Lipschitz-정규화 특성(층 노름 및 야코비안 노름)을 네트워크에 확장하여 데이터 의존적 Rademacher 복잡도 경계를 깊이에 다항식으로 얻고, 학습 중 야코비안 기반 정규화를 제안한다.

ABSTRACT

Existing Rademacher complexity bounds for neural networks rely only on norm control of the weight matrices and depend exponentially on depth via a product of the matrix norms. Lower bounds show that this exponential dependence on depth is unavoidable when no additional properties of the training data are considered. We suspect that this conundrum comes from the fact that these bounds depend on the training data only through the margin. In practice, many data-dependent techniques such as Batchnorm improve the generalization performance. For feedforward neural nets as well as RNNs, we obtain tighter Rademacher complexity bounds by considering additional data-dependent properties of the network: the norms of the hidden layers of the network, and the norms of the Jacobians of each layer with respect to all previous layers. Our bounds scale polynomially in depth when these empirical quantities are small, as is usually the case in practice. To obtain these bounds, we develop general tools for augmenting a sequence of functions to make their composition Lipschitz and then covering the augmented functions. Inspired by our theory, we directly regularize the network's Jacobians during training and empirically demonstrate that this improves test performance.

연구 동기 및 목표

• 딥 네트워크의 일반화 경계를 데이터 마진을 넘어서는 데이터 의존적 특성으로 왜 더 촘촘하게 만들 수 있는지 동기를 제시한다.
• 네트워크를 데이터 의존적 Lipschitz 특성으로 확장하여 Rademacher 복잡도를 경계하는 프레임워크를 개발한다.
• 학습 데이터에서 은닉층 노름과 층 간 야코비안 노름에 의존하는 다항식-깊이 일반화 경계를 도출한다.
• 학습 중 야코비안을 제어하는 실용적 정규화 전략을 제안하고 테스트 성능에 미치는 영향을 평가한다.

제안 방법

• 신경망을 층-연산자와 활성화의 합성으로 표현한다.
• 손실에 층 노름과 야코비안에 대한 소프트 지시자(indicator)로 Lipschitz augmentation을 도입하여 최악의 경우 Lipschitz 상수를 경계한다.
• 증강된 손실을 다루기 위해 계산 그래프 표현에 대한 커버링 수 기법을 확장한다.
• L-test <= tilde-O(학습 데이터에서의 층 노름, 야코비안 노름, 너비에 독립적인 항, 그리고 깊이-r에 의존하는 항)을 포함하는 형태의 상한을 도출한다.
• 증강된 컴퓨테이셔널 그래프를 커버링하고 데이터 의존적 일반화 경 bounds를 얻기 위한 형식적 프레임워크(Theorem 4.3, 5.3, 6.x)를 제공한다.

실험 결과

연구 질문

• RQ1 마진을 넘어서는 어떤 데이터 의존적 네트워크 특성들이 딥 네트워크의 일반화 경계를 촉진할 수 있는가?
• RQ2 Lipschitz 증강과 야코비안 노름이 깊이에 다항식적으로 증가하는 경계를 낼 수 있는가?
• RQ3 Augmented 컴퓨테이셔널 그래프에 커버링-넘버 주장을 확장하여 데이터 의존적 손실을 경계할 수 있는가?
• RQ4 네트워크의 야코비안을 정규화하면 실험적으로 일반화 성능이 개선되는가?

주요 결과

• 학습 데이터 Lipschitz 상수와 야코비안 노름이 작을 때 깊이에 다항식으로 스케일링되는 데이터 의존적 일반화 경계가 얻어진다.
• 상한은 학습 데이터에서 측정된 최대 은닉층 노름 t와 최대 층 간 야코비안 연산자 노름 sigma에 의존한다.
• 층 노름과 야코비안에 대한 소프트 인디케이터로 손실을 증강하면 커버링 수에 대한 tractable Lipschitz-bound 프레임워크를 얻을 수 있다.
• 실험에서 학습 중 야코비안을 정규화하면 테스트 성능을 개선할 수 있다.
• 프레임워크는 유사한 다항식 깊이 경계가 있는 순환 신경망으로도 확장된다.