[논문 리뷰] EffNet: An Efficient Structure for Convolutional Neural Networks

Ido Freeman, Lutz Roese-Koerner외 1명|arXiv (Cornell University)|2018. 01. 19.

Advanced Neural Network Applications참고 문헌 21인용 수 14

한 줄 요약

EffNet는 깊이 분리형 합성곱을 재고찰하고 특징 흐름을 최적화함으로써 CNN의 계산 비용을 줄이는 새로운 효율적인 합성곱 블록을 제안한다. 이로 인해 FLOPs를 크게 줄였음에도 불구하고 최신 기준 정확도를 달성하며, 특히 MobileNet과 ShuffleNet이 병목 현상으로 인해 성능이 떨어지는 슬림 모델에서 뛰어난 성능을 발휘한다.

ABSTRACT

With the ever increasing application of Convolutional Neural Networks to customer products the need emerges for models to efficiently run on embedded, mobile hardware. Slimmer models have therefore become a hot research topic with various approaches which vary from binary networks to revised convolution layers. We offer our contribution to the latter and propose a novel convolution block which significantly reduces the computational burden while surpassing the current state-of-the-art. Our model, dubbed EffNet, is optimised for models which are slim to begin with and is created to tackle issues in existing models such as MobileNet and ShuffleNet.

연구 동기 및 목표

• 슬림하고 저용량의 모델에 적용되었을 때 기존의 경량 CNN인 MobileNet과 ShuffleNet이 효율성이 떨어지는 문제를 해결한다.
• 좁은 네트워크에서 성능 저하를 일으키는 깊이 분리형 합성곱의 데이터 흐름 병목 현상을 극복한다.
• 높은 정확도를 유지하면서 계산 비용을 크게 줄이는 통합된 효율적인 합성곱 블록을 설계한다.
• 프리프로세싱 압축 기법(예: 프루닝 또는 양자화)에 의존하지 않고 모델 효율성을 최적화한다.
• 계산 비용을 증가시키지 않고도 자원이 제한된 하드웨어에서 더 깊거나 넓은 네트워크를 구현할 수 있도록 한다.

제안 방법

• 공간적 및 채널별 합성곱을 분리하는 새로운 합성곱 블록을 도입하며, 깊이 분리형 합성곱과 유사하지만 데이터 흐름이 향상된 구조를 취한다.
• 배치 정규화 이후 표준 ReLU 활성화 함수를 유연한 ReLU로 대체하여 더 많은 특징 정보를 유지하고 성능을 향상시킨다.
• 내장된 깊이 배율 값을 2^n으로 설정하여 계산 비용 증가 없이 표현 능력을 향상시킨다.
• 입력 채널 수에 따라 첫 번째 피봇 합성곱 레이어의 출력 채널 수를 학습 가능한 확장 비율에 따라 조정하여 병목 현상을 줄인다.
• 선형 피봇 합성곱 레이어 이후 비선형 활성화 함수를 적용하여 중복 계산을 방지하고 학습 동역학을 향상시킨다.
• 기존 CNN 아키텍처의 표준 합성곱 및 깊이 분리형 합성곱 레이어에 대한 즉각적인 교체가 가능하도록 블록을 설계한다.

실험 결과

연구 질문

• RQ1 기존 방법인 MobileNet과 ShuffleNet이 병목 현상으로 인해 성능이 저하되는 슬림하고 좁은 아키텍처에 적용되었을 때, 경량 CNN의 효율성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 깊이 분리형 합성곱 블록에 어떤 수정을 가해야 계산 비용을 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 배치 정규화 이후 ReLU를 유연한 ReLU로 대체할 경우 경량 CNN 블록의 성능에 어떤 영향을 미치는가?
• RQ4 MobileNet과 ShuffleNet을 모두 능가하는 통합된 효율적인 블록을 설계할 수 있는가? 특히 소형 모델에서 FLOPs와 정확도 측면에서 뛰어난 성능을 발휘할 수 있는가?
• RQ5 제안된 블록을 통해 계산 비용을 증가시키지 않고도 저용량 하드웨어에서 더 깊거나 넓은 네트워크를 어떻게 도입할 수 있는가?

주요 결과

• CIFAR-10에서 EffNet는 4410만 FLOPs(기준의 0.55배)로 83.20%의 top-1 정확도를 달성했으며, 유사한 FLOP 수준에서 MobileNet v2(79.10%)를 능가한다.
• SVHN에서 EffNet는 22.5억 FLOPs(기준의 0.63배)로 87.80%의 정확도를 기록했으며, 더 적은 연산을 사용하면서도 MobileNet v2(87.16%)를 능가한다.
• GTSRB에서 EffNet는 12.1억 FLOPs(기준의 0.51배)로 93.74%의 정확도를 달성했으며, 계산 비용이 낮은 수준에서 MobileNet v2(92.82%)를 초월한다.
• 개선된 MobileNet 변종(mob_imp)은 SVHN에서 88.78%의 정확도를 기록했지만, 25.1억 FLOPs(기준의 0.70배)를 소비하여 EffNet보다 훨씬 비용이 많이 들며, 높은 정확도를 위해선 상당한 성능 투자가 수반됨을 보여준다.
• ReLU나 선형 활성화 함수 대신 유연한 ReLU를 사용함으로써 성능 향상이 이루어졌으며, 실험 결과 첫 번째 피봇 합성곱 레이어가 비선형성의 이점을 크게 얻는다.
• 제안된 블록은 다양한 확장 비율에 대해 강건하며, 특히 낮은 FLOP 예산에서 일관된 성능 향상을 유지하여 모바일 및 임베디드 환경에 적합함을 입증한다.