[논문 리뷰] LCNN: Lookup-based Convolutional Neural Network

Hessam Bagherinezhad, Mohammad Rastegari외 1명|arXiv (Cornell University)|2016. 11. 20.

Advanced Neural Network Applications참고 문헌 37인용 수 12

한 줄 요약

LCNN는 표준 컨볼루션 필터를 학습된 딕셔너리 벡터의 희소 선형 조합으로 대체하는 룩업 기반 컨볼루션 신경망이다. 이는 빠르고 컴act하며 정확도가 높은 추론과 훈련을 가능하게 하며, AlexNet 대비 최대 37.6배의 속도 향상을 이룬다. 또한 다양한 아키텍처 간에 사전 훈련된 딕셔너리를 전이함으로써 효율적인 소수의 예제 및 소수의 반복 훈련을 가능하게 한다.

ABSTRACT

Porting state of the art deep learning algorithms to resource constrained compute platforms (e.g. VR, AR, wearables) is extremely challenging. We propose a fast, compact, and accurate model for convolutional neural networks that enables efficient learning and inference. We introduce LCNN, a lookup-based convolutional neural network that encodes convolutions by few lookups to a dictionary that is trained to cover the space of weights in CNNs. Training LCNN involves jointly learning a dictionary and a small set of linear combinations. The size of the dictionary naturally traces a spectrum of trade-offs between efficiency and accuracy. Our experimental results on ImageNet challenge show that LCNN can offer 3.2x speedup while achieving 55.1% top-1 accuracy using AlexNet architecture. Our fastest LCNN offers 37.6x speed up over AlexNet while maintaining 44.3% top-1 accuracy. LCNN not only offers dramatic speed ups at inference, but it also enables efficient training. In this paper, we show the benefits of LCNN in few-shot learning and few-iteration learning, two crucial aspects of on-device training of deep learning models.

연구 동기 및 목표

• VR, AR, 웨어러블 기기와 같은 자원 제약이 있는 플랫폼에 최신 딥러닝 모델을 구현하는 데 도전한다.
• 과도한 파rameter화와 가중치 상관관계로 인한 CNN의 계산 및 메모리 오버헤드를 줄인다.
• 소수의 예제(소수의 예제 훈련)와 소수의 훈련 반복(소수의 반복 훈련)이라는 엄격한 제약 조건 하에서 효율적인 현장 훈련을 가능하게 한다.
• 매개변수 수를 크게 줄이고 추론 시간을 단축하면서도 높은 정확도를 유지하는 모델을 개발한다.

제안 방법

• 표준 컨볼루션 필터를 학습된 딕셔너리의 벡터에서 유도된 희소 선형 조합으로 대체하여 매개변수 수를 줄이고 룩업 기반 계산을 가능하게 한다.
• 모델 최적화 과정에서 딕셔너리와 희소 재구성 가중치(P 텐서)를 함께 훈련한다.
• 딕셔너리의 이식 가능성(transferability)을 활용: 더 큰 네트워크에서 사전에 딕셔너리를 훈련하고, 이를 더 작은 또는 더 깊은 아키텍처로 전이한다. 재훈련 없이도 가능하다.
• 소수의 예제 훈련을 위한 피니튜닝 시 딕셔너리를 고정하고, 희소 재구성 가중치만 업데이트함으로써 학습 가능한 매개변수 수를 줄인다.
• 딕셔너리의 아키텍처에 종속되지 않는 특성을 활용해 다양한 네트워크 깊이와 구조 간의 전이 학습을 가능하게 한다.
• 저정밀도 양자화와 컴팩트한 데이터 구조를 적용하여 추론 효율성을 추가로 최적화한다.

실험 결과

연구 질문

• RQ1 룩업 기반 CNN이 ImageNet에서 경쟁적인 정확도를 유지하면서도 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 소수의 예제 훈련 환경에서 LCNN는 한 클래스당 하나 또는 몇 개의 예제만 있을 때 얼마나 효과적인가?
• RQ3 LCNN는 매우 소수의 훈련 반복으로도 높은 정확도의 훈련을 가능하게 할 수 있는가? 이는 현장 훈련에 적합하다.
• RQ4 사전에 훈련된 딕셔너리를 다양한 네트워크 아키텍처 간에 얼마나 효과적으로 전이할 수 있는가?
• RQ5 딕셔너리와 재구성 가중치를 함께 학습하는 방식이 더 나은 매개변수 효율성과 일반화 능력을 제공하는가?

주요 결과

• LCNN는 ImageNet에서 표준 AlexNet 대비 3.2배 빠른 속도 향상을 이룬 동시에 55.1%의 top-1 정확도를 유지한다.
• 가장 빠른 LCNN 버전은 AlexNet 대비 최대 37.6배 빠른 속도 향상을 기록했으며, 44.3%의 top-1 정확도를 유지한다.
• 소수의 예제 훈련에서 LCNN는 카테고리당 하나의 예제만 사용할 경우 top-1 정확도를 6.3% 향상시킨다.
• 얕은 네트워크에서 사전에 훈련된 딕셔너리를 전이하여 사용할 경우, 단 10,000회의 훈련 반복 후 표준 CNN보다 top-1 정확도가 16.2% 높아진다.
• 딕셔너리를 고정하고 희소 재구성 가중치만 업데이트함으로써 피니튜닝 시 학습 가능한 매개변수 수를 14배 줄일 수 있다.
• ResNet-18에서 LCNN는 62.2%의 top-1 정확도로 5배의 속도 향상을 기록했고, 51.8% 정확도로 29.2배의 속도 향상을 기록하여 뛰어난 확장성을 보였다.