[논문 리뷰] Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units

Yixi Xu, Xiao Wang|arXiv (Cornell University)|2018. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 ReLU 기반의 딥 네ural 네트워크에 대해 깊이에 따라 변화하고 너비에 따라 영향을 받지 않는 용량 제어를 가능하게 하는 $L_{p,q}$ 가중치 정규화 프레임워크를 제안한다. 라데마처 복잡도와 근사 오차를 분석함으로써 일반화 오차가 깊이의 제곱근에만 비례하며, $L_{1,\infty}$ 정규화의 경우 오차는 출력층의 $L_1$ 노름에만 의존한다는 것을 보여준다.

ABSTRACT

This paper presents a general framework for norm-based capacity control for $L_{p,q}$ weight normalized deep neural networks. We establish the upper bound on the Rademacher complexities of this family. With an $L_{p,q}$ normalization where $q\le p^*$ and $1/p+1/p^{*}=1$, we discuss properties of a width-independent capacity control, which only depends on the depth by a square root term. We further analyze the approximation properties of $L_{p,q}$ weight normalized deep neural networks. In particular, for an $L_{1,\infty}$ weight normalized network, the approximation error can be controlled by the $L_1$ norm of the output layer, and the corresponding generalization error only depends on the architecture by the square root of the depth.

연구 동기 및 목표

• ReLU 활성화를 갖는 딥 네럴 네트워크에서 범용 노름 기반 용량 제어 프레임워크를 개발하는 것.
• 조건 $q \leq p^*$ 및 $1/p + 1/p^* = 1$ 하에서 $L_{p,q}$-정규화된 네트워크의 라데마처 복잡도를 분석하는 것.
• $L_{1,\infty}$-정규화된 네트워크에서 출력층의 $L_1$ 노름에 따라 의존하는 근사 오차 경계를 수립하는 것.
• 일반화 오차가 깊이에 대해 제곱근 항만을 통해 영향을 받고 너비와 독립적으로 스케일링됨을 보여주는 것.

제안 방법

• ReLU 활성화를 갖는 딥 네럴 네트워크에 대한 일반적인 $L_{p,q}$ 가중치 정규화 기법을 도입한다.
• $q \leq p^*$ 및 $1/p + 1/p^* = 1$ 조건 하에서 $L_{p,q}$-정규화된 네트워크의 라데마처 복잡도에 대한 상한을 유도한다.
• $L_{p,q}$-정규화된 네트워크의 근사 성질을 분석하며, 특히 $L_{1,\infty}$ 정규화의 경우에 중점을 둔다.
• 근사 오차가 출력층 가중치의 $L_1$ 노름에 의해 제어된다는 것을 보여준다.
• 일반화 오차가 깊이에 대해 제곱근 항을 통해만 영향을 받는다는 것을 확립한다.
• 기능 분석과 노름 기반 일반화 경계를 활용하여 깊이에 따라 변화하는 용량 제어를 도출한다.

실험 결과

연구 질문

• RQ1 $L_{p,q}$ 가중치 정규화는 깊이 있는 ReLU 네트워크의 일반화 용량에 어떤 영향을 미치는가?
• RQ2 $L_{p,q}$ 정규화를 통해 네트워크 너비와 무관하게 용량 제어를 달성할 수 있는가?
• RQ3 $L_{1,\infty}$-정규화된 네트워크에서 출력층의 $L_1$ 노름과 근사 오차 사이의 관계는 무엇인가?
• RQ4 $L_{p,q}$ 정규화 하에서 일반화 오차는 깊이에 따라 어떻게 스케일링되는가?
• RQ5 $L_{p,q}$-정규화된 네트워크의 복잡도를 제어하는 데 있어 쌍대 노름 $p^*$의 역할은 무엇인가?

주요 결과

• 조건 $q \leq p^*$ 및 $1/p + 1/p^* = 1$ 하에서 $L_{p,q}$-정규화된 네트워크의 라데마처 복잡도는 유계이며, 이는 일반화의 이론적 제어를 가능하게 한다.
• $L_{1,\infty}$-정규화된 네트워크의 경우 근사 오차는 출력층 가중치의 $L_1$ 노름에 의해 제어된다.
• $L_{1,\infty}$-정규화된 네트워크의 일반화 오차는 깊이에 대해 제곱근 항만을 통해 영향을 받으며, 너비와 독립적이다.
• 이 프레임워크는 너비에 영향을 받지 않는 용량 제어를 달성하며, 복잡도는 $\sqrt{\text{depth}}$ 비례로 스케일링된다.
• 분석 결과 $L_{p,q}$ 정규화는 너비나 명시적 정규화에 의존하지 않고 모델 복잡도를 체계적으로 제어할 수 있음을 드러낸다.
• 이론적 경계는 깊이 있는 네트워크가 너비 제약 없이도 $L_{p,q}$ 정규화 하에서 잘 일반화될 수 있음을 시사한다.