[논문 리뷰] Rethinking the Number of Channels for the Convolutional Neural Network

Hui Zhu, Zhulin An외 4명|arXiv (Cornell University)|2019. 09. 04.

Advanced Neural Network Applications참고 문헌 22인용 수 6

한 줄 요약

이 논문은 함수 보존 변환을 기반으로 한 기능적 점진적 탐색 방법을 제안하여 합성곱 신경망의 필터 수를 효율적으로 최적화한다. 모델 파라미터를 통제하면서 넓이 구성을 신속히 탐색함으로써, 단일 NVIDIA Titan Xp GPU에서 0.4~1.3 GPU일의 계산만으로 CIFAR-10에서 약 0.5% 향상되고 CIFAR-100에서 약 2.33% 향상되며, 파라미터 수가 더 적은 성능을 달성한다.

ABSTRACT

Latest algorithms for automatic neural architecture search perform remarkable but few of them can effectively design the number of channels for convolutional neural networks and consume less computational efforts. In this paper, we propose a method for efficient automatic architecture search which is special to the widths of networks instead of the connections of neural architecture. Our method, functionally incremental search based on function-preserving, will explore the number of channels rapidly while controlling the number of parameters of the target network. On CIFAR-10 and CIFAR-100 classification, our method using minimal computational resources (0.4~1.3 GPU-days) can discover more efficient rules of the widths of networks to improve the accuracy by about 0.5% on CIFAR-10 and a~2.33% on CIFAR-100 with fewer number of parameters. In particular, our method is suitable for exploring the number of channels of almost any convolutional neural network rapidly.

연구 동기 및 목표

• 합성곱 신경망의 필터 수 최적화에 있어 기존 신경망 아키텍처 탐색(NAS) 방법의 비효율성과 높은 계산 비용을 해결하기 위해.
• 연결성 대신 네트워크 너비(필터 수)를 효율적으로 탐색할 수 있는 방법을 개발하여 더 빠르고 파라미터 제어가 가능한 탐색을 가능하게 하기 위해.
• 표준 벤치마크인 CIFAR-10과 CIFAR-100에서 성능을 향상시키는 비단조화적(비단조선형) 필터 너비 규칙을 발견하기 위해.
• ResNet, VGG, PyramidNet와 같은 다양한 아키텍처에 걸쳐 본 방법의 일반화 가능성 검증하기 위해.
• 더 나은 일반화와 파라미터 효율성을 위한 최적의 필터 분포 패턴에 대한 경험적 통찰 제공하기 위해.

제안 방법

• 함수 보존 변환을 기반으로 한 기능적 점진적 탐색 전략을 제안하여 넓이 탐색을 신속하고 안정적으로 수행할 수 있도록 한다.
• 사전 훈련된 티처 네트워크의 지식을 채널 수가 수정된 스튜던트 네트워크로 전이하기 위해 Net2Net 스타일의 지식 증류를 사용한다.
• 네트워크 동작을 유지하면서 기능적으로 동일한 방식으로 채널 수를 체계적으로 증가시키거나 수정한다.
• 정확도, 파라미터 수, FLOPs를 균형 있게 고려하는 피트니스 평가 함수를 도입하여 효율적인 아키텍처로의 탐색을 이끈다.
• 잔차 블록 및 기타 표준 모듈에 적용 가능하므로 거의 모든 CNN 아키텍처에 적용 가능하다.
• 단일 NVIDIA Titan Xp GPU에서 0.4~1.3 GPU일의 최소한의 계산 자원으로 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 연결성에 의존하지 않고 높은 비용이 드는 아키텍처 탐색 없이도, 함수 보존 탐색 방법이 CNN의 필터 수 최적화에 효율적으로 기여할 수 있는가?
• RQ2 CIFAR-10과 CIFAR-100에서 파라미터 수를 줄이면서 정확도를 향상시키기 위한 최적의 비단조화적 필터 너비 패턴은 무엇인가?
• RQ3 단지 너비(채널 수)에 집중한 탐색이 기존의 NAS 방법에 비해 효율성과 성능 면에서 뛰어나게 되는가?
• RQ4 ResNet, VGG, PyramidNet와 같은 다양한 아키텍처 간에 발견된 필터 규칙이 일반화되는가?
• RQ5 기본적인 증가 또는 피라미드형 패턴 대신 변동하거나 감소하는 패턴을 사용할 경우 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 파라미터 수를 줄이며 CIFAR-10에서 약 0.5% 향상되고 CIFAR-100에서 약 2.33% 향상되는 성능 향상을 달성한다.
• 탐색 과정에 소요되는 계산 자원은 0.4~1.3 GPU일로, 기존의 NAS 방법에 비해 계산 비용을 크게 줄였다.
• 비단조화적 필터 너비 패턴—예를 들어 변동하거나 감소하는 너비—은 정확도 대비 파라미터 비용 측면에서 기존의 증가 또는 피라미드형 패턴을 능가할 수 있다.
• 본 방법은 ResNet-18, ResNet-34, VGG-16, SE-ResNet-50, PyramidNet-110에 대해 효율적인 채널 구성 설정을 성공적으로 발견했다.
• ResNet-18과 PyramidNet-110에 대해 발견된 채널 패턴은 원본 및 기본 증가/감소 구성보다 더 뛰어난 성능을 달성한다.
• 기존의 CNN 아키텍처에 대해 아키텍처 재설계 없이도 적용 가능한 효율적이고 파라미터 제어가 가능한 탐색을 가능하게 한다.