[논문 리뷰] More is Less: A More Complicated Network with Less Inference Complexity

Xuanyi Dong, Junshi Huang외 2명|arXiv (Cornell University)|2017. 03. 25.

Advanced Neural Network Applications참고 문헌 35인용 수 40

한 줄 요약

이 논문은 저비용 공동 네트워크(Low-Cost Collaborative Networks, LCCN)를 제안하며, 기존 합성곱 신경망(Convolutional Neural Networks, CNN)의 추론 속도를 높이기 위해 각 원본 합성곱 레이어에 경량의 저비용 공동 레이어(Low-Cost Collaborative Layer, LCCL)를 추가하는 새로운 아키텍처를 제시한다. LCCL은 ReLU를 통해 영활성 영역을 예측하여 주 합성곱 레이어의 고비용 연산을 건너뛰는 스킵 커넥션을 가능하게 하며, CIFAR-10, CIFAR-100 및 ImageNet에서 평균 32%의 속도 향상을 달성하면서 정확도 저하가 극미미하게 유지된다.

ABSTRACT

In this paper, we present a novel and general network structure towards accelerating the inference process of convolutional neural networks, which is more complicated in network structure yet with less inference complexity. The core idea is to equip each original convolutional layer with another low-cost collaborative layer (LCCL), and the element-wise multiplication of the ReLU outputs of these two parallel layers produces the layer-wise output. The combined layer is potentially more discriminative than the original convolutional layer, and its inference is faster for two reasons: 1) the zero cells of the LCCL feature maps will remain zero after element-wise multiplication, and thus it is safe to skip the calculation of the corresponding high-cost convolution in the original convolutional layer, 2) LCCL is very fast if it is implemented as a 1*1 convolution or only a single filter shared by all channels. Extensive experiments on the CIFAR-10, CIFAR-100 and ILSCRC-2012 benchmarks show that our proposed network structure can accelerate the inference process by 32\% on average with negligible performance drop.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 깊이 있는 CNN의 높은 추론 비용을 해결하기 위해.
• ReLU 활성화 특성 맵 내재의 흐린 밀도를 활용해 효율적인 추론을 위해.
• 기존 CNN을 재학습 없이도 빠르게 가속화할 수 있는 일반적이고 플러그인 방식의 아키텍처를 설계하기 위해.
• 추론 중 계산 복잡도를 크게 줄이면서도 높은 모델 정확도를 유지하기 위해.

제안 방법

• 각 원본 합성곱 레이어에 저비용 공동 레이어(LCCL)를 장착하며, LCCL은 채널 간 공유된 1×1 합성곱 또는 단일 필터로 구현된다.
• 원본 합성곱 레이어의 ReLU 활성화 출력과 LCCL 출력 간 요소별 곱셈을 적용하여 최종 출력을 생성한다.
• LCCL의 ReLU 활성화 출력을 활용해 주 합성곱 레이어의 응답에서 0값 위치를 예측하고, 이를 바탕으로 계산을 건너뛸 수 있도록 한다.
• 배치 정규화(Batch Normalization, BN)와 ReLU를 활용해 훈련 중 흐린 밀도를 향상시키고 성능 유지를 도모한다.
• 표준 SGD와 역전파를 사용해 전체 네트워크를 훈련하며, LCCL을 학습 가능한 가벼운 보조 스트림으로 간주한다.
• OpenBLAS를 사용한 Caffe 기반 구현을 통해 CPU 전용 플랫폼에서도 실제 속도 향상 측정이 가능한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 경량 보조 레이어를 사용해 합성곱 레이어 내에서 영활성 연산을 예측하고 건너뛸 수 있는가?
• RQ2 제안된 LCCN 아키텍처는 모델 정확도를 떨어뜨리지 않고 상당한 추론 속도 향상을 달성하는가?
• RQ3 LCCL에 의해 유도되는 데이터 의존적 흐린 밀도는 고정 임계값 또는 구조적 흐린 밀도 방법에 비해 효율성과 성능 면에서 어떻게 비교되는가?
• RQ4 LCCN는 다양한 네트워크 아키텍처와 작업에 일반화될 수 있는가?

주요 결과

• LCCN는 CIFAR-10, CIFAR-100 및 ImageNet-12 벤치마크에서 평균 32%의 속도 향상을 달성하면서 정확도 저하가 극미미하게 유지된다.
• ResNet-110에서 34%의 속도 향상을 기록하며, 다른 가속 기법들보다 속도와 정확도 면에서 뛰어난 성능을 보였다.
• CPU에서의 실제 속도 향상(ResNet-18에서 20.5%, ResNet-34에서 18.1%)은 BLAS 라이브러리의 비효율성과 데이터 재구성 오버헤드로 인해 이론적 추정치보다 낮았다.
• 시각화 결과 LCCL이 원본 네트워크보다 배경보다 객체의 전경을 더 효과적으로 강조함을 보여주었으며, 명시적 어텐션 메커니즘 없이도 어텐션 유사 행동을 보였다.
• 이 방법은 양자화 및 프루닝과 같은 다른 가속 기법과도 호환되어 추가 성능 향상을 가능하게 한다.
• LCCN는 플랫폼 독립적이며, GPU 및 FPGA에서도 소수의 수정만으로 활용 가능하다.