[논문 리뷰] Generalization Bounds for Convolutional Neural Networks

Shan Lin, Jingwei Zhang|arXiv (Cornell University)|2019. 10. 03.

Advanced Neural Network Applications참고 문헌 40인용 수 14

한 줄 요약

이 논문은 컨volutional 신경망(CNN)의 일반화 경계를 더 견고하게 하기 위해 컨볼루션 레이어의 희소성과 가중치 공유 구조를 활용하여, 이를 등가의 완전 연결 행렬로 변환함으로써 제안한다. 이 경계는 이러한 구조화된 가중치 행렬의 스펙트럴 노름을 사용하여 유도되었으며, 이는 이론적으로도이고 경험적으로도 기존 완전 연결 네트워크의 경계보다 훨씬 더 날카럽게, 특히 MobileNet V1 및 V2와 같은 아키텍처에서 입증되었다.

ABSTRACT

Convolutional neural networks (CNNs) have achieved breakthrough performances in a wide range of applications including image classification, semantic segmentation, and object detection. Previous research on characterizing the generalization ability of neural networks mostly focuses on fully connected neural networks (FNNs), regarding CNNs as a special case of FNNs without taking into account the special structure of convolutional layers. In this work, we propose a tighter generalization bound for CNNs by exploiting the sparse and permutation structure of its weight matrices. As the generalization bound relies on the spectral norm of weight matrices, we further study spectral norms of three commonly used convolution operations including standard convolution, depthwise convolution, and pointwise convolution. Theoretical and experimental results both demonstrate that our bounds for CNNs are tighter than existing bounds.

연구 동기 및 목표

• 과도하게 파rameter화된 CNN에서 일반화에 대한 이론적 이해의 격차를 해소하기 위해.
• 가중치 공유 및 희소성과 같은 컨볼루션 레이어의 구조적 특성을 명시적으로 고려하는 일반화 경계를 개발하기 위해.
• 이러한 구조적 특성을 활용하면 완전 연결 신경망 이론에서 유도된 경계보다 더 날카운 경계를 이끌어낼 수 있음을 보여주기 위해.
• MobileNet V1 및 V2 아키텍처에서의 경험적 비교를 통해 이론적 개선을 검증하기 위해.

제안 방법

• 각 컨볼루션 레이어를 컨볼루션 필터에서 유도된 희소하고 구조화된 가중치 행렬을 가진 등가의 완전 연결 레이어로 변환한다.
• 유도된 완전 연결 가중치 행렬의 스펙트럴 노름을 분석하며, 그 희소성과 순열 불변 구조를 활용한다.
• 변환된 가중치 행렬의 스펙트럴 노름을 바탕으로 일반화 경계를 유도하며, 레이어 단위의 노름과 네트워크 깊이를 통합한다.
• 표준, 디프스와이즈, 포인트와이즈 컨볼루션에서 생성된 가중치 행렬의 스펙트럴 노름에 대한 이론적 상한을 제공한다.
• 커버링 수 추론과 노름 기반 복잡도 측도를 사용하여 일반화 오차를 제한한다.
• 학습된 가중치를 사용하여 MobileNet V1 및 V2에서 경계를 경험적으로 평가하며, 기존 방법과의 경계 크기 비교를 수행한다.

실험 결과

연구 질문

• RQ1 컨볼루션 레이어의 구조적 특성—특히 희소성과 가중치 공유—는 완전 연결 네트워크의 경계보다 더 날카운 일반화 경계를 도출하는 데 활용될 수 있는가?
• RQ2 다양한 컨볼루션 연산(표준, 디프스와이즈, 포인트와이즈)에서 생성된 가중치 행렬의 스펙트럴 노름은 어떻게 비교되며, 원래 컨볼루션 필터의 노름을 사용해 상한을 구할 수 있는가?
• RQ3 제안된 경계는 기존 딥 네트워크의 일반화 경계에 비해 상당한 향상이 이루어지는가?
• RQ4 이론적 경계는 실세계의 CNN 아키텍처인 MobileNet과 같은 구조에서 경험적 성능과 어느 정도 상관이 있는가?

주요 결과

• 제안된 일반화 경계는 기존 완전 연결 네트워크의 경계보다 더 날카롭게, 특히 컨볼루션 레이어를 포함한 모델에서 특히 그렇다.
• 경계는 컨볼루션 가중치에서 유도된 희소하고 구조화된 완전 연결 행렬의 스펙트럴 노름을 분석함으로써 도출되었으며, 이는 그들의 희소성과 공유된 가중치 패턴을 활용한다.
• 이론적 분석을 통해 변환된 가중치 행렬의 스펙트럴 노름은 원래 컨볼루션 필터의 노름을 사용해 상한을 구할 수 있음을 보여준다.
• MobileNet V1 및 V2에서의 경험적 평가 결과, 제안된 경계는 기존 경계보다 크기가 상당히 작음을 확인하였으며, 이는 경계의 날카움을 뒷받침한다.
• 가중치 공유가 광범위하게 이루어지는 더 깊고 더 파rameter 효율적인 아키텍처인 MobileNets에서는 경계의 날카움 향상 효과가 가장 두드러진다.
• 네트워크 깊이와 레이어 너비에 따라 경계가 유리하게 스케일링되며, 복잡도는 $\widetilde{\mathcal{O}}\left(\frac{s^{\frac{L-1}{4}}L^{\frac{3}{4}}a^{\frac{1}{4}}c^{\frac{1}{2}}m^{\frac{1}{8}}r^{\frac{1}{2}}}{\sqrt{n}}\right)$ 로 표현되며, 이는 모델 용량에 대한 개선된 의존성을 반영한다.