[논문 리뷰] PCA-driven Hybrid network design for enabling Intelligence at the Edge.

Indranil Chakraborty, Deboleena Roy외 3명|arXiv (Cornell University)|2019. 06. 04.

Advanced Neural Network Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 이진 신경망에서 핵심 레이어를 식별하고 이를 정밀도를 높여 분류 정확도를 크게 향상시키는 PCA 기반 하이브리드 네트워크 설계를 제안한다. 대부분의 네트워크를 이진으로 유지하면서도 핵심 레이어만 고정밀도로 업그레이드함으로써 Hybrid-Net은 CIFAR-100과 ImageNet에서 XNOR-Net 대비 10퍼센트 이상의 정확도 향상을 달성하였으며, 에너지 효율성은 XNOR-Net의 94퍼센트를 유지한다.

ABSTRACT

The recent advent of IOT has increased the demand for enabling AI-based edge computing in several applications including healthcare monitoring systems, autonomous vehicles etc. This has necessitated the search for efficient implementations of neural networks in terms of both computation and storage. Although extreme quantization has proven to be a powerful tool to achieve significant compression over full-precision networks, it can result in significant degradation in performance for complex image classification tasks. In this work, we propose a Principal Component Analysis (PCA) driven methodology to design mixed-precision, hybrid networks. Unlike standard practices of using PCA for dimensionality reduction, we leverage PCA to identify significant layers in a binary network which contribute relevant transformations on the input data by increasing the number of significant dimensions. Subsequently, we propose Hybrid-Net, a network with increased bit-precision of the weights and activations of the significant layers in a binary network. We show that the proposed Hybrid-Net achieves over 10% improvement in classification accuracy over binary networks such as XNOR-Net for ResNet and VGG architectures on CIFAR-100 and ImageNet datasets while still achieving upto 94% of the energy-efficiency of XNOR-Nets. The proposed design methodology allows us to move closer to the accuracy of standard full-precision networks by keeping more than half of the network binary. This work demonstrates an effective, one-shot methodology for designing hybrid, mixed-precision networks which significantly improve the classification performance of binary networks while attaining remarkable compression. The proposed hybrid networks further the feasibility of using highly compressed neural networks for energy-efficient neural computing in IOT-based edge devices.

연구 동기 및 목표

• 엣지 AI 응용 분야에서 극한의 양자화로 인한 성능 저하 문제를 해결하기 위해.
• 이진 네트워크에서 특징 변환에 가장 크게 기여하는 레이어를 특정하기 위해.
• 압축률과 에너지 효율성을 희생시키지 않고 정확도를 향상시키는 혼합 정밀도 하이브리드 네트워크를 설계하기 위해.
• 에너지 제약이 있는 IoT 엣지 디바이스에 고도로 압축된 신경망을 실용적으로 구현하기 위해.

제안 방법

• 차원 감소를 목적으로 하는 것이 아니라, 이진 네트워크에서 정보량이 높은 레이어를 식별하기 위해 주성분 분석(PCA)을 적용한다.
• PCA를 사용하여 각 레이어의 유의미한 차원 수를 결정함으로써 입력 변환에서의 중요도를 파악한다.
• PCA 결과를 바탕으로 핵심 레이어를 선별하고, 해당 레이어의 가중치와 활성화 값을 더 높은 정밀도로 업그레이드한다.
• 대부분의 레이어는 이진 정밀도를 유지하면서도 가장 중요한 레이어들만 정밀도를 높여 Hybrid-Net을 구성한다.
• 정확도와 에너지 효율성 평가를 위해 표준 벤치마크인 CIFAR-100과 ImageNet에서 하이브리드 아키텍처를 평가한다.
• 반복적 재학습 없이 최적의 정밀도 업그레이드를 결정하기 위해 일회성 설계 방법론을 사용한다.

실험 결과

연구 질문

• RQ1 이진 신경망에서 특징 표현과 분류 성능에 가장 크게 기여하는 레이어는 무엇인가요?
• RQ2 PCA를 재사용하여 이진 네트워크에서 정밀도 업그레이드에 가장 영향을 미치는 레이어를 효과적으로 식별할 수 있을까요?
• RQ3 혼합 정밀도 업그레이드를 통해 정확도를 얼마나 향상시킬 수 있으며, 모델 압축과 에너지 효율성은 손상되지 않을까요?
• RQ4 제안된 하이브리드 네트워크는 전체 정밀도 모델과 표준 이진 모델에 비해 정확도와 효율성 측면에서 어떻게 비교될 수 있을까요?

주요 결과

• Hybrid-Net은 CIFAR-100과 ImageNet 데이터셋에서 XNOR-Net 대비 10퍼센트 이상의 분류 정확도 향상을 달성한다.
• 제안된 방법은 정밀도 업그레이드에도 불구하고 XNOR-Net의 에너지 효율성의 94퍼센트를 유지하여 뛰어난 에너지 효율성을 입증한다.
• 네트워크의 50퍼센트 이상이 여전히 이진으로 유지되어 높은 모델 압축률과 낮은 스토리지 요구량을 유지한다.
• PCA 기반의 레이어 선별은 정밀도 업그레이드를 가장 영향력 있는 레이어에 효과적으로 집중시키는 일회성 설계 프로세스를 가능하게 한다.
• 하이브리드 아키텍처는 이진 네트워크를 전체 정밀도 모델에 훨씬 가깝게 만들지만, 엣지 배포에 적합한 상태를 유지한다.