[논문 리뷰] Evolution in Groups: A deeper look at synaptic cluster driven evolution of deep neural networks

Mohammad Javad Shafiee, Elnaz Barshan외 1명|arXiv (Cornell University)|2017. 04. 07.

Neural Networks and Applications참고 문헌 32인용 수 12

한 줄 요약

이 논문은 GPU 및 AI 가속기와 같은 병렬 하드웨어에 최적화된 고도로 희박하고 클러스터 기반의 네트워크 구조를 진화시키는 합성 클러스터 기반 유전적 인코딩 기법을 제안한다. 이 방법은 다양한 벤치마크에서 정확도를 유지하거나 향상시키면서도 합성수를 최대 125배 감소시키고 클러스터 효율성을 최대 9.7배 향상시킨다.

ABSTRACT

A promising paradigm for achieving highly efficient deep neural networks is the idea of evolutionary deep intelligence, which mimics biological evolution processes to progressively synthesize more efficient networks. A crucial design factor in evolutionary deep intelligence is the genetic encoding scheme used to simulate heredity and determine the architectures of offspring networks. In this study, we take a deeper look at the notion of synaptic cluster-driven evolution of deep neural networks which guides the evolution process towards the formation of a highly sparse set of synaptic clusters in offspring networks. Utilizing a synaptic cluster-driven genetic encoding, the probabilistic encoding of synaptic traits considers not only individual synaptic properties but also inter-synaptic relationships within a deep neural network. This process results in highly sparse offspring networks which are particularly tailored for parallel computational devices such as GPUs and deep neural network accelerator chips. Comprehensive experimental results using four well-known deep neural network architectures (LeNet-5, AlexNet, ResNet-56, and DetectNet) on two different tasks (object categorization and object detection) demonstrate the efficiency of the proposed method. Cluster-driven genetic encoding scheme synthesizes networks that can achieve state-of-the-art performance with significantly smaller number of synapses than that of the original ancestor network. ($\sim$125-fold decrease in synapses for MNIST). Furthermore, the improved cluster efficiency in the generated offspring networks ($\sim$9.71-fold decrease in clusters for MNIST and a $\sim$8.16-fold decrease in clusters for KITTI) is particularly useful for accelerated performance on parallel computing hardware architectures such as those in GPUs and deep neural network accelerator chips.

연구 동기 및 목표

• 모바일 디바이스 및 임베디드 시스템과 같은 자원 제약 환경에서 큰 복잡도를 가진 딥 네트워크의 비효율성을 해결하기 위해.
• 유전적 인코딩 과정에 신경생물학적으로 영감을 받은 합성 클러스터링을 통합하여 진화적 딥 러닝의 효율성을 향상시키기 위해.
• 개별 합성수 특성뿐만 아니라 상호 합성수 관계를 포괄하는 유전적 인코딩 체계를 개발하여 희박하고 하드웨어 최적화된 네트워크의 진화를 이끌기 위해.
• 합성 클러스터 기반 진화가 병렬 아키텍처인 GPU 및 AI 가속기에서 파rameter 수를 크게 줄이고 계산 효율을 향상시킬 수 있는지 평가하기 위해.

제안 방법

• 합성수 특성을 단독으로 모델링하는 것이 아니라, 그 상호 합성수 관계와 클러스터링 경향성을 기반으로 하는 다중 요인 유전적 인코딩 체계를 도입한다.
• 신경생물학적 증거에 기반하여 집합적으로 활성화되는 합성수의 특성에서 영감을 얻어, 네트워크 진화 과정에서 희박하고 농축된 합성수 클러스터 형성을 선호하는 확률적 인코딩을 사용한다.
• 유전적 그래픽 모델 내에서 돌연변이, 선택 및 유전 메커니즘을 적용하여 조상 아키텍처에서 후손 네트워크를 반복적으로 생성한다.
• 클러스터 효율을 원래 네트워크의 커널 수 대비 진화된 네트워크의 커널 수 비율로 정의하여 병렬 하드웨어에서의 잠재적 속도 향상을 측정하는 지표로 사용한다.
• LeNet-5, AlexNet, ResNet-56, DetectNet을 사용하여 MNIST, CIFAR-10, STL-10, KITTI와 같은 표준 딥 러닝 벤치마크를 활용해 성능 및 효율성을 평가한다.
• 모델 정확도를 유지하면서도 합성수 수를 극적으로 감소시키고 클러스터 희박성을 높이는 진화적 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 합성수 클러스터링을 모델링하는 유전적 인코딩 체계가 개별 합성수 기반 인코딩보다 더 효율적인 딥 네트워크를 생성할 수 있는가?
• RQ2 합성수 클러스터 기반 진화는 정확도를 유지하거나 향상시키면서도 얼마나 많은 합성수를 줄일 수 있는가?
• RQ3 결과적으로 도출된 클러스터 효율은 GPU 및 AI 가속기와 같은 병렬 컴퓨팅 하드웨어에서 잠재적 속도 향상으로 어떻게 번역되는가?
• RQ4 합성수 클러스터링에 기반한 진화 과정이 더 컴act하고 희박하며 하드웨어 최적화된 네트워크 아키텍처를 이끌어낼 수 있는가?

주요 결과

• LeNet-5를 사용한 MNIST 데이터셋에서 제안된 방법은 합성수를 최대 125배 감소시키면서도 높은 정확도를 유지하였다.
• MNIST에서 최종 진화된 네트워크는 클러스터 효율이 9.71배 향상되어 병렬 하드웨어에서의 속도 향상 잠재력이 높음을 시사하였다.
• DetectNet를 사용한 KITTI 데이터셋에서 진화된 네트워크는 클러스터 효율이 8.16배 향상되었고, 원본 네트워크 대비 정밀도는 0.8% 향상되고 재현율은 1.7% 향상되었다.
• ResNet-56를 사용한 CIFAR-10에서 진화된 네트워크는 클러스터 효율이 2.25배 향상되었고 정확도는 단지 3.21% 감소하여 뛰어난 효율-정확도 트레이드오프를 보였다.
• 모든 작업(객체 분류 및 탐지)에서 모델 복잡도를 극적으로 줄였음에도 불구하고 성능을 유지하거나 향상시켰다.
• 결과는 합성수 클러스터 기반 진화가 GPU 및 딥 러닝 가속기 칩에 특히 적합한 고도로 희박하고 하드웨어 최적화된 네트워크를 합성하는 데에 효과적임을 확인한다.