[논문 리뷰] Training CNNs with Low-Rank Filters for Efficient Image Classification

Yani Ioannou, Duncan Robertson외 3명|arXiv (Cornell University)|2015. 11. 20.

Advanced Neural Network Applications참고 문헌 17인용 수 40

한 줄 요약

이 논문은 수직(1×k) 및 수평(k×1) 필터를 기저 함수로 조합하여 복합적인 저질서 합성 컨볼루션 필터를 사용해, 처음부터 CNN을 훈련시키는 방법을 제안한다. 이는 계산 및 파라미터 효율성 측면에서 뚜렷한 향상을 이룬다. 혼합된 형태의 필터 그룹을 고려한 새로운 가중치 초기화 기법을 도입함으로써, CIFAR-10, ILSVRC, MIT Places 데이터셋에서 표준 CNN과 비교해 최대 55% 적은 파라미터와 46% 적은 계산량으로 동일하거나 높은 정확도를 달성한다.

ABSTRACT

We propose a new method for creating computationally efficient convolutional neural networks (CNNs) by using low-rank representations of convolutional filters. Rather than approximating filters in previously-trained networks with more efficient versions, we learn a set of small basis filters from scratch; during training, the network learns to combine these basis filters into more complex filters that are discriminative for image classification. To train such networks, a novel weight initialization scheme is used. This allows effective initialization of connection weights in convolutional layers composed of groups of differently-shaped filters. We validate our approach by applying it to several existing CNN architectures and training these networks from scratch using the CIFAR, ILSVRC and MIT Places datasets. Our results show similar or higher accuracy than conventional CNNs with much less compute. Applying our method to an improved version of VGG-11 network using global max-pooling, we achieve comparable validation accuracy using 41% less compute and only 24% of the original VGG-11 model parameters; another variant of our method gives a 1 percentage point increase in accuracy over our improved VGG-11 model, giving a top-5 center-crop validation accuracy of 89.7% while reducing computation by 16% relative to the original VGG-11 model. Applying our method to the GoogLeNet architecture for ILSVRC, we achieved comparable accuracy with 26% less compute and 41% fewer model parameters. Applying our method to a near state-of-the-art network for CIFAR, we achieved comparable accuracy with 46% less compute and 55% fewer parameters.

연구 동기 및 목표

• 저전력 장치에 배포하기 위한 최신 기술의 CNN 모델에서 증가하는 계산 비용과 모델 크기 문제를 해결하기 위해.
• 분류 정확도를 훼손하지 않으면서 컨볼루션 레이어의 계산 복잡도를 감소시키기 위해.
• 사전 훈련된 모델을 근사하는 것 외에도, 처음부터 저질서 필터를 학습시켜 효율성과 일반화 성능을 향상시킬 수 있는지 탐색하기 위해.
• 다양한 형태의 필터(예: 1×k, k×1, k×k)를 포함하는 복합 컨볼루션 레이어에 특화된 새로운 가중치 초기화 방법을 개발하기 위해.

제안 방법

• 전체 k×k 커널이 아닌, 작은 저질서 기저 필터(예: 1×k 및 k×1)의 선형 조합으로 컨볼루션 필터를 표현하기 위해.
• 혼합된 형태의 필터 그룹의 구조적 특이성을 반영한 새로운 가중치 초기화 기법을 사용해, 처음부터 네트워크를 훈련시키기 위해.
• 직사각형 및 정사각형 필터로 구성된 기저 공간을 사용해, 복잡한 공간 패턴을 효율적이고 학습 가능한 방식으로 표현하기 위해.
• 기존 아키텍처(VGG-11, GoogLeNet, Network-in-Network)에 적용하기 위해, 핵심 레이어에서 표준 필터를 저질서 필터로 교체하기 위해.
• 기저 분해를 통해 필터 복잡도를 제한함으로써, 추론 효율성과 일반화 능력을 동시에 최적화하기 위해.
• 모델 크기와 계산량을 추가로 줄이기 위해 글로벌 맥스 풀링 및 아키텍처 수정을 적용하기 위해.

실험 결과

연구 질문

• RQ1 처음부터 저질서 복합 필터를 사용해 CNN을 훈련시키면, 계산 비용을 크게 줄였음에도 표준 CNN과 동일하거나 높은 정확도를 달성할 수 있는가?
• RQ2 사전 훈련된 모델을 근사하는 것이 아니라, 처음부터 기저 필터를 학습시키는 것이 일반화 성능과 효율성 향상에 기여하는가?
• RQ3 다양한 형태의 필터가 동일한 레이어에 존재하는 경우, 제안된 가중치 초기화 기법이 네트워크 훈련에 얼마나 효과적인가?
• RQ4 1×k 및 k×1와 같은 저질서 필터 분해 방식이 이미지 분류 작업에서 전체 k×k 필터의 분류 능력을 얼마나 잘 표현하는가?
• RQ5 이 방법은 CIFAR-10, ILSVRC, MIT Places와 같은 다양한 데이터셋과 VGG, GoogLeNet, NiN 등의 아키텍처에 대해 일관된 효율성 향상을 보일 수 있는가?

주요 결과

• 글로벌 맥스 풀링을 적용한 개선된 VGG-11에 이 방법을 적용한 결과, 89.7%의 top-5 센터 캄프 정확도를 달성했으며, 원본 VGG-11와 동일하거나 이를 초월했고, 계산량은 41% 감소하고 모델 파라미터는 76% 감소했다.
• 이 방법의 변종은 개선된 VGG-11보다 정확도를 1%p 높였으며, 89.7%의 top-5 정확도를 기록했고, 계산량은 16% 감소했다.
• GoogLeNet에 적용한 저질서 버전은 ILSVRC에서 동일한 정확도(88.0% top-5)를 달성했고, 계산량은 26% 감소하고 파라미터 수는 41% 감소했다.
• 근사 최신 기술 수준의 CIFAR-10 모델(NiN)에 적용한 저질서 변종은 91.8%의 정확도를 기록했고, 계산량은 46% 감소하고 파라미터 수는 55% 감소했다.
• 기존의 접근 방식보다 효율성이 뛰어나, 계산량 감소 폭이 한 계급 정도 이내에서 동일한 정확도를 달성한 다른 네트워크는 존재하지 않았다.
• 제안된 가중치 초기화 기법은 혼합된 형태의 필터 그룹을 포함한 네트워크에서 성공적인 훈련을 가능하게 하며, 안정적인 수렴을 보장하는 데 핵심적인 역할을 했다.