[논문 리뷰] Stable Rank Normalization for Improved Generalization in Neural Networks and GANs

Amartya Sanyal, Philip H. S. Torr외 1명|arXiv (Cornell University)|2019. 06. 11.

Neural Networks and Applications참고 문헌 34인용 수 33

한 줄 요약

제공된 텍스트는 ICLR 2020 제출 형식 지침을 포함하고 있으며, stable rank normalization에 관한 실제 논문 내용이 아닙니다. 여기에는 방법론이나 결과에 대한 상세 내용이 사용할 수 없습니다.

ABSTRACT

Exciting new work on the generalization bounds for neural networks (NN) given by Neyshabur et al. , Bartlett et al. closely depend on two parameter-depenedent quantities: the Lipschitz constant upper-bound and the stable rank (a softer version of the rank operator). This leads to an interesting question of whether controlling these quantities might improve the generalization behaviour of NNs. To this end, we propose stable rank normalization (SRN), a novel, optimal, and computationally efficient weight-normalization scheme which minimizes the stable rank of a linear operator. Surprisingly we find that SRN, inspite of being non-convex problem, can be shown to have a unique optimal solution. Moreover, we show that SRN allows control of the data-dependent empirical Lipschitz constant, which in contrast to the Lipschitz upper-bound, reflects the true behaviour of a model on a given dataset. We provide thorough analyses to show that SRN, when applied to the linear layers of a NN for classification, provides striking improvements-11.3% on the generalization gap compared to the standard NN along with significant reduction in memorization. When applied to the discriminator of GANs (called SRN-GAN) it improves Inception, FID, and Neural divergence scores on the CIFAR 10/100 and CelebA datasets, while learning mappings with low empirical Lipschitz constants.

연구 동기 및 목표

• 제공된 텍스트에서 연구 목표를 찾을 수 없으며, 컨퍼런스 형식 지침만 포함되어 있습니다.

제안 방법

• 제공된 텍스트에서 방법은 설명되어 있지 않습니다; 내용은 ICLR 2020 제출 형식 지침으로만 구성되어 있습니다.

실험 결과

연구 질문

• RQ1 제공된 텍스트에 연구 질문이 존재하지 않습니다.

주요 결과

• 제공된 텍스트에서 어떤 발견도 보고되지 않습니다.