[논문 리뷰] The Singular Values of Convolutional Layers

Hanie Sedghi, Vineet Gupta외 1명|arXiv (Cornell University)|2018. 05. 26.

Matrix Theory and Algorithms인용 수 59

한 줄 요약

이 논문은 다채널 다차원 합성곱 계층의 특이값을 정확하고 효율적으로 특징짓고, 이를 통해 실제로 정확한 연산자 노름 프로젝션 및 정규화를 가능하게 합니다. CNN에서 연산자 노름 정규화를 사용할 때 CIFAR-10 정확도가 향상되는 것을 보여줍니다.

ABSTRACT

We characterize the singular values of the linear transformation associated with a standard 2D multi-channel convolutional layer, enabling their efficient computation. This characterization also leads to an algorithm for projecting a convolutional layer onto an operator-norm ball. We show that this is an effective regularizer; for example, it improves the test error of a deep residual network using batch normalization on CIFAR-10 from 6.2\% to 5.3\%.

연구 동기 및 목표

• 합성곱 계층의 연산자 노름(스펙트럴 노름)이 학습 역학 및 일반화에 어떻게 영향을 미치는지 모티베이션하고 정량화한다.
• 다채널 다차원 합성곱 계층의 특이값을 정확하고 효율적으로 계산하는 방법을 도출한다.
• 합성곱 계층을 연산자 노름 구역으로 프로젝션하는 것을 제안하고 평가한다.
• 표준 벤치마크(예: ResNet을 이용한 CIFAR-10)에서 연산자 노름 제어의 실용적 이점을 Demonstrate 한다.

제안 방법

• 2D 합성곱에 대한 이중 블록 순환 행렬로 합성곱을 표현한다.
• 합성곱의 특이값이 커널의 2D 푸리에 변환의 크기에 해당함을 보인다.
• 다채널 합성곱으로 확장하려면 각 (u,v)에서 작은 m×m 행렬 P^(u,v)를 구성하고 이들의 특이값의 합집합을 취한다.
• 선형 연산자의 특이값을 잘라 연산자 노름 구역으로 정확히 투영하는 방법을 제안한다.
• FFT를 이용한 효율적 특이값 계산과 작은 SVD를 이용한 구현(Numpy/TensorFlow)을 제공하고, 전체 행렬 SVD와의 비교를 제시한다.

실험 결과

연구 질문

• RQ1 2D 다채널 합성곱 계층의 정확한 스펙트럼(특이값의 집합)은 무엇인가?
• RQ2 전체 선형 변환 행렬을 구성하지 않고도 이 스펙트럼을 효율적으로 계산할 수 있는가?
• RQ3 합성곱 계층을 연산자 노름 구역으로 프로젝션하는 것이 일반화에 실제로 도움이 되는가?
• RQ4 현대 아키텍처에서 연산자 노름 정규화가 배치 정규화와 어떻게 상호작용하는가?

주요 결과

• 합성곱 계층의 특이값은 커널 조각의 2D 푸리에 변환의 크기로 정확히 계산될 수 있다.
• 다채널 계층의 경우 전체 스펙트럼은 모든 (u,v)에서 파생된 m×m 행렬 P^(u,v)의 특이값의 합집합이다.
• FFT 기반 계산은 전체 연산자의 전체 SVD보다 훨씬 빠르게 O(n^2 m^2 (m + log n)) 시간에 달한다.
• 연산자 노름 구역으로의 투영은 ResNet-32 아키텍처에서 CIFAR-10 테스트 에러를 6.2%에서 5.3%로 개선한다.
• 연산자 노름 정규화는 배치 정규화와 보완적이며 중복되기보다 상호 보완적이다.
• 재배치된 K의 노름을 잘라내는 이전 휴리스틱은 정확한 방법보다 효과가 떨어지거나 느릴 수 있으며, 일부 설정에서는 경쟁력이 있다.