[논문 리뷰] Norm-based generalisation bounds for multi-class convolutional neural networks

Antoine Ledent, Waleed Mustafa외 2명|arXiv (Cornell University)|2019. 05. 29.

Sparse and Compressive Sensing Techniques참고 문헌 61인용 수 5

한 줄 요약

이 논문은 다중 클래스 컨볼루션 신경망에 대한 새로운 노름 기반 일반화 경계를 제시하며, 클래스 수에 대한 명시적 의존성을 제거하고(로그형 인자 외에는), 각 컨볼루션 필터의 노름을 재사용 여부에 관계없이 한 번만 세는 방식으로 가중치 공유를 고려한다. 경계는 가중치 행렬의 프로베니우스 노름에 비례하며, 초기화 근처에서는 여전히 날카롭게 유지되어 최적화에 의해 유도되는 인덕티브 바이어스의 이론적 분석을 향상시킨다.

ABSTRACT

We show generalisation error bounds for deep learning with two main improvements over the state of the art. (1) Our bounds have no explicit dependence on the number of classes except for logarithmic factors. This holds even when formulating the bounds in terms of the $L^2$-norm of the weight matrices, where previous bounds exhibit at least a square-root dependence on the number of classes. (2) We adapt the classic Rademacher analysis of DNNs to incorporate weight sharing -- a task of fundamental theoretical importance which was previously attempted only under very restrictive assumptions. In our results, each convolutional filter contributes only once to the bound, regardless of how many times it is applied. Further improvements exploiting pooling and sparse connections are provided. The presented bounds scale as the norms of the parameter matrices, rather than the number of parameters. In particular, contrary to bounds based on parameter counting, they are asymptotically tight (up to log factors) when the weights approach initialisation, making them suitable as a basic ingredient in bounds sensitive to the optimisation procedure. We also show how to adapt the recent technique of loss function augmentation to our situation to replace spectral norms by empirical analogues whilst maintaining the advantages of our approach.

연구 동기 및 목표

• 딥 러닝에서 클래스 수에 대해 명시적이고 비로그형 의존성을 보이는 일반화 경계의 근본적인 이론적 과제를 해결한다.
• 컨볼루션 신경망에서 각 필터가 경계에 한 번만 기여하도록, 가중치 공유를 적절히 반영한 일반화 경계를 개발한다.
• 네트워크 가중치가 초기화 근처에 있을 때 경계가 점점 날카로워지도록 보장한다(로그 인자까지), 최적화에 의해 유도되는 인덕티브 바이어스의 분석을 지원한다.
• 손실 함수 증강을 통해 이론적 스펙트럴 노름을 경험적 대체량으로 교체함으로써, 노름 기반 경계의 실용적 사용을 가능하게 한다.
• ReLU 및 풀링과 같은 비선형성의 $L^∞$-연속성을 활용하여 넓이 의존성을 개선한다.

제안 방법

• 각 필터의 프로베니우스 노름을 공간적 적용 횟수에 관계없이 한 번의 기여로 간주하는 방식으로, CNN의 가중치 공유를 고려한 라데마처 복잡도 분석을 적응시킨다.
• 이전 연구에서 관찰된 클래스 수에 대한 제곱근 의존성을 피하기 위해, 가중치 행렬의 $L^2$ 노름을 사용하여 일반화 경계를 수립한다.
• 필터 노름과 네트워크 너비를 조합한 $R$에 의해 정규화된 마진 항 $\gamma(x_i)/R$를 도입하여 다양한 아키텍처 간 비교를 가능하게 한다.
• 이론적 스펙트럴 노름을 경험적 대체량으로 교체하기 위해 손실 함수 증강을 적용함으로써, 이론적 보장을 유지하면서도 실용성을 향상시킨다.
• ReLU 및 풀링 연산의 $L^\infty$-연속성을 활용하여, 경계에서 넓이에 대한 명시적 의존성을 감소시킨다.
• 파rameter 노름에 비례하는 경계를 유도함으로써, 초기화 근처에서 점점 날카로워지도록 보장한다.

실험 결과

연구 질문

• RQ1 다중 클래스 CNN에 대한 일반화 경계는 클래스 수에 대해 명시적 의존성이 없이, 로그 인자 외에는 어떻게 설정할 수 있는가?
• RQ2 컨볼루션 레이어에서의 가중치 공유를 이론적으로 어떻게 일반화 경계에 반영할 수 있으며, 각 필터가 경계에 한 번만 기여하도록 할 수 있는가?
• RQ3 가중치가 초기화 근처에 있을 때 노름 기반 경계가 점점 날카로워질 수 있는가? 이는 최적화에 의해 유도되는 인덕티브 바이어스 분석에 적합한가?
• RQ4 이론적 스펙트럴 노름을 이론적 보장을 유지하면서도 경험적 대체량으로 교체할 수 있는가?
• RQ5 ReLU 및 풀링과 같은 비선형성은 일반화 경계의 넓이 의존성에 어떻게 영향을 미치는가?

주요 결과

• $L^2$ 노름을 사용할 경우, 제안된 경계는 클래스 수에 대해 명시적 비로그형 의존성이 없으며, 이는 이전 연구의 핵심 한계를 해결한다.
• 각 컨볼루션 필터가 적용되는 횟수에 관계없이 경계에 한 번만 기여함으로써, 가중치 공유를 정확히 반영한다.
• 가중치가 초기화에 가까워질수록 경계는 점점 날카로워지며(로그 인자까지), 최적화에 의해 유도되는 인덕티브 바이어스 분석에 적합하다.
• 비선형성의 $L^\infty$-연속성의 활용은 경계에서 명시적 넓이 의존성을 크게 감소시킨다.
• 손실 함수 증강을 통해 스펙트럴 노름을 경험적 대체량으로 성공적으로 교체하였으며, 이론적 이점을 유지하였다.
• 증강된 MNIST와 시뮬레이션 데이터에 대한 실험 결과, $\gamma(x_i)/R$는 입력 크기와 데이터 제약 조건에 대해 안정적이며, 클래스 수에 따라 크게 변하지 않는 반면, 기존의 $M$을 사용한 정규화 방식은 데이터 스케일에 따라 극적으로 변하는 것으로 나타났다.