[논문 리뷰] Network Deconvolution

Chengxi Ye, Matthew Evanusa외 6명|arXiv (Cornell University)|2019. 05. 28.

Blind Source Separation Techniques참고 문헌 16인용 수 16

한 줄 요약

이 논문은 최적의 L2 기반 역필터링을 사용하여 각 레이어 이전에 합성곱 신경망(CNN) 특징에서 픽셀 간 및 채널 간 상관관계를 제거하는 네트워크 디컨볼루션을 소개한다. 이 방법은 CIFAR-10/100, MNIST, 패션-MNIST, Cityscapes, ImageNet에서 10종의 현대적 CNN 아키텍처에 대해 아키텍처 변경 없이 배치 정규화보다 빠른 수렴 속도와 뛰어난 정확도를 달성한다.

ABSTRACT

Convolution is a central operation in Convolutional Neural Networks (CNNs), which applies a kernel to overlapping regions shifted across the image. However, because of the strong correlations in real-world image data, convolutional kernels are in effect re-learning redundant data. In this work, we show that this redundancy has made neural network training challenging, and propose network deconvolution, a procedure which optimally removes pixel-wise and channel-wise correlations before the data is fed into each layer. Network deconvolution can be efficiently calculated at a fraction of the computational cost of a convolution layer. We also show that the deconvolution filters in the first layer of the network resemble the center-surround structure found in biological neurons in the visual regions of the brain. Filtering with such kernels results in a sparse representation, a desired property that has been missing in the training of neural networks. Learning from the sparse representation promotes faster convergence and superior results without the use of batch normalization. We apply our network deconvolution operation to 10 modern neural network models by replacing batch normalization within each. Extensive experiments show that the network deconvolution operation is able to deliver performance improvement in all cases on the CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST, Cityscapes, and ImageNet datasets.

연구 동기 및 목표

• CNN에서 훈련 효율성과 모델 성능을 저해하는 중복되고 상관관계가 있는 특징의 문제를 해결하기 위해.
• 합성곱 레이어 비용의 일부에 불과한 비용으로 효율적으로 작동하는 분리 기법을 개발하기 위해.
• 배치 정규화를 더 효과적이고 생물학적으로 영감을 받은 정규화 기법인 디컨볼루션 기반 기법으로 대체하기 위해.
• 분리된 특징이 희박한 표현을 이끌어내어 더 빠른 수렴과 향상된 일반화를 가능하게 함을 입증하기 위해.
• 아키텍처에 종속되지 않는 일반적인 대안을 제공하여 다양한 데이터셋과 모델에서 성능 향상을 이루기 위해.

제안 방법

• 네트워크 디컨볼루션은 픽셀 및 채널 활성화의 상관계행렬을 역행함으로써 특징의 상관관계를 제거하는 최적의 L2 역변환을 적용한다.
• 계산 비용을 줄이기 위해 공분산 행렬 K의 저랭크 근사를 사용하여 역행렬을 계산한다.
• 이 방법은 전방 전파 과정에서 각 합성곱 또는 완전연결 레이어 이전에 입력 특징을 K⁻¹를 통해 변환함으로써 작동한다.
• 명시적인 행렬 역행렬 계산을 피하기 위해 반복적 해법을 사용하는 암시적 디컨볼루션 기법을 도입하여 합성곱 비용 이하의 계산 비용을 달성한다.
• 모든 평가된 모델에서 배치 정규화를 대체하기 위해 각 레이어 이전의 사전처리 단계로 적용된다.
• 1×1 합성곱 및 완전연결 레이어의 경우, 이 방법은 유닛 간 상관관계를 제거함으로써 은닉 유닛을 분리한다.

실험 결과

연구 질문

• RQ1 CNN 특징에서 픽셀 간 및 채널 간 상관관계를 제거하면 훈련 수렴 속도와 모델 정확도가 향상되는가?
• RQ2 다양한 아키텍처와 데이터셋에서 네트워크 디컨볼루션은 배치 정규화보다 더 효과적인 정규화 기법인가?
• RQ3 디컨볼루션으로 유도된 희박한 표현은 더 빠른 최적화와 더 나은 일반화를 이끌어내는가?
• RQ4 딥 네트워크에서 디컨볼루션을 충분히 효율적으로 계산할 수 있는가? 전체 합성곱보다 비용이 낮은가?
• RQ5 중심-주변 수용체 영역이라는 생물학적 영감이 인공 신경망 성능 향상에 타당한가?

주요 결과

• 네트워크 디컨볼루션은 CIFAR-10, CIFAR-100, MNIST, 패션-MNIST, Cityscapes, ImageNet에서 평가된 10종의 현대적 CNN 아키텍처 전부에서 정확도 향상을 보였다.
• CIFAR-10에서 20에포크 훈련 시 디컨볼루션은 배치 정규화를 사용한 100에포크 훈련의 성능을 도달했다.
• ImageNet에서 VGG-11에 디컨볼루션을 적용한 결과, 상위-1 정확도 71.95%를 기록했으며, 원본 VGG-13(배치 정규화 사용, 71.55%)보다 +0.40% 높았다.
• VGG-11에서 디컨볼루션의 성능 향상은 배치 정규화의 두 배에 달했다(+1.36% 향상, BN 대비).
• 완전연결 네트워크에서도 디컨볼루션은 배치 정규화를 능가했으며, 이는 합성곱 레이어를 넘어서 일반화 성능 향상을 보여주었다.
• 첫 번째 레이어의 디컨볼루션 필터는 생물학적 시신경 세포의 중심-주변 구조를 띠어, 이 방법의 생물학적 타당성을 뒷받침한다.