[논문 리뷰] Asymptotic Singular Value Distribution of Linear Convolutional Layers

Xinping Yi|arXiv (Cornell University)|2020. 06. 12.

Electromagnetic Scattering and Analysis참고 문헌 37인용 수 5

한 줄 요약

이 논문은 선형 컨volution 레이어의 渐近 스펙트럼 분석을 위해 블록 더블 토플리츠 행렬의 스펙트럼 밀도 행렬 표현을 도입함으로써, 원형 컨볼루션 근사보다 더 정확한 특이값 근사가 가능해지도록 제안한다. 이 방법은 계산 비용을 줄이며 더 날카운 스펙트럼 노름 상한을 제공하며, 이는 ResNet에서 일반화 성능 향상에 효과적인 스펙트럼 정규화 기법이 된다. CIFAR-10에서 최대 1.1%의 정확도 향상으로 검증됨.

ABSTRACT

In convolutional neural networks, the linear transformation of multi-channel two-dimensional convolutional layers with linear convolution is a block matrix with doubly Toeplitz blocks. Although a "wrapping around" operation can transform linear convolution to a circular one, by which the singular values can be approximated with reduced computational complexity by those of a block matrix with doubly circulant blocks, the accuracy of such an approximation is not guaranteed. In this paper, we propose to inspect such a linear transformation matrix through its asymptotic spectral representation - the spectral density matrix - by which we develop a simple singular value approximation method with improved accuracy over the circular approximation, as well as upper bounds for spectral norm with reduced computational complexity. Compared with the circular approximation, we obtain moderate improvement with a subtle adjustment of the singular value distribution. We also demonstrate that the spectral norm upper bounds are effective spectral regularizers for improving generalization performance in ResNets.

연구 동기 및 목표

• 선형 컨볼루션 레이어의 SVD 복잡도를 줄이기 위해 널리 사용되는 원형 컨볼루션 근사에 대한 이론적 보장의 부족을 해결하기 위해.
• 선형 컨볼루션 레이어의 가중치 행렬 특이값을 더 정확하고 계산 효율적으로 근사하는 방법을 개발하기 위해.
• 딥 네트워크(예: ResNet)에서 일반화 성능 향상에 사용할 수 있는 스펙트럼 노름 상한을 유도하기 위해.
• 비에르미트형 블록 더블 토플리츠 행렬에 대해 슈체고 정리의 확장을 통해 渐近 스펙트럼 분석을 가능하게 하기 위해.

제안 방법

• 다중 채널 2D 컨볼루션 레이어의 선형 변환 행렬을 블록 더블 토플리츠 행렬로 표현하며, 이는 매트릭스 블록을 재정렬한 형태와 특이값에서 동일함.
• 스펙트럼 밀도 행렬을 도입하여 가중치 행렬의 스펙트럼 분포를 나타내며, 이는 밀도 행렬의 고유값을 통한 스펙트럼 분석을 가능하게 함.
• 비에르미트형 블록 더블 토플리츠 행렬에 대해 슈체고 정리의 확장을 적용하여 특이값 분포와 스펙트럼 밀도 행렬 간의 渐近 동치성을 정당화함.
• 두 가지 스펙트럼 노름 상한을 유도함: 하나는 재형상된 필터 매트릭스(R 및 L) 기반, 다른 하나는 부분행렬(T_{k,l}) 기반이며, 둘 다 O(hwc_out c_in) 복잡도로 파wer 메서드를 통해 계산 가능함.
• 유도된 상한을 학습 목표에 정규화 기법으로 적용하며, 전방 전파 시 파워 메서드를 사용하고 역전파 시 특이벡터 도함수를 활용함.
• CIFAR-10에서 ResNet-20에 대해 수정된 학습 파이프라인을 적용하여, 다양한 β 값으로 상한 기반의 스펙트럼 정규화를 적용하고 일반화 성능를 평가함.

실험 결과

연구 질문

• RQ1 스펙트럼 밀도 행렬 표현은 원형 컨볼루션 근사에 비해 선형 컨볼루션 레이어의 특이값 근사 정확도를 어떻게 향상시키는가?
• RQ2 기존 방법에 비해 계산 비용을 줄이며 더 날카운 스펙트럼 노름 상한을 선형 컨볼루션 레이어에 대해 유도할 수 있는가?
• RQ3 스펙트럼 노름 상한은 깊은 잔차 네트워크에서 일반화 성능 향상에 얼마나 효과적인 정규화 기법으로 작용하는가?
• RQ4 CNN에서 발생하는 비에르미트형 블록 더블 토플리츠 행렬에 대해 스펙트럼 밀도 행렬을 통한 渐近 스펙트럼 분석이 타당한가?

주요 결과

• 제안된 스펙트럼 밀도 행렬 기반 방법은 원형 컨볼루션 근사에 비해 특이값 근사 정확도를 다소 향상시키며, 특이값 분포에 미세하지만 의미 있는 조정을 제공함.
• 재형상된 필터 매트릭스(R 및 L) 기반으로 유도된 스펙트럼 노름 상한은 부분행렬(T_{k,l}) 기반 상한보다 더 날카로워서 일반화 성능 향상에 유리함.
• 더 날카운 상한(29)을 사용한 스펙트럼 정규화로 기준 모델(β=0) 대비 테스트 정확도가 1.1% 향상되었으며, 덜 날카운 상한(31)은 0.8% 향상됨.
• 상한(31)에 대해 최적의 정규화 강도 β=0.0014를 적용했을 때 CIFAR-10에서 최고의 테스트 정확도 90.48%를 기록하였으며, 이는 낮은 또는 높은 β 값보다 뛰어남.
• 스펙트럼 노름 상한을 계산하는 데에는 O(hwc_out c_in)의 계산 복잡도가 소요되며, 파워 메서드를 통해 학습 중 전방 및 역방향 계산이 효율적으로 수행됨.
• 스펙트럼 노름 상한을 정규화 기법으로 사용함으로써 기울기 소실/폭발 문제를 효과적으로 완화하고, ResNet-20의 강건성과 일반화 성능을 향상시킴.