[논문 리뷰] Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding

Mohammad Javad Shafiee, Alexander Wong|arXiv (Cornell University)|2016. 09. 06.

Advanced Memory and Neural Computing참고 문헌 33인용 수 18

한 줄 요약

이 논문은 뇌과학적으로 영감을 얻은 클러스터링을 활용하여 깊이 신경망의 진화적 합성에 적합한 시냅스 클러스터 기반 유전적 인코딩 체계를 제안한다. 이 방법은 MNIST에서 최대 125배의 시냅스 감소를 달성하면서도 높은 정확도를 유지하며, 자원이 제한된 장치에서 GPU 가속 인퍼런스를 위한 뛰어난 효율성을 확보한다.

ABSTRACT

There has been significant recent interest towards achieving highly efficient deep neural network architectures. A promising paradigm for achieving this is the concept of evolutionary deep intelligence, which attempts to mimic biological evolution processes to synthesize highly-efficient deep neural networks over successive generations. An important aspect of evolutionary deep intelligence is the genetic encoding scheme used to mimic heredity, which can have a significant impact on the quality of offspring deep neural networks. Motivated by the neurobiological phenomenon of synaptic clustering, we introduce a new genetic encoding scheme where synaptic probability is driven towards the formation of a highly sparse set of synaptic clusters. Experimental results for the task of image classification demonstrated that the synthesized offspring networks using this synaptic cluster-driven genetic encoding scheme can achieve state-of-the-art performance while having network architectures that are not only significantly more efficient (with a ~125-fold decrease in synapses for MNIST) compared to the original ancestor network, but also tailored for GPU-accelerated machine learning applications.

연구 동기 및 목표

• 생물학적 시냅스 클러스터링을 모방하는 새로운 유전적 인코딩 체계를 개발하여 깊이 신경망의 진화적 합성 성능을 향상시키는 것.
• 모델 복잡도와 시냅스 수를 줄이되, 정확도를 유지하거나 향상시키는 것.
• 메모리와 계산 자원이 제한된 임베디드 GPU에서 효율적인 배포를 위한 적응형 네트워크 설계를 위한 것.
• 유전적 인코딩에서의 시냅스 클러스터링이 아키텍처 효율성과 일반화 능력에 어떻게 기여하는지 탐구하는 것.

제안 방법

• 시냅스 확률을 다중 요인 모델로 분해하여, 시냅스 클러스터 형성 확률과 그 내부에서의 시냅스 형성 확률을 별도로 고려한다.
• 유전 정보는 P(S_g | W_{g-1})로 확률적으로 인코딩되며, 부모 네트워크의 시냅스 강도 w_k가 시냅스 형성 확률을 이끄는 데 기여한다.
• 클러스터 수준 및 시냅스 수준의 확률 곱을 통해 시냅스 클러스터가 진화 과정에서 유리하게 유지되며, 다수의 세대에 걸쳐 희박하고 농축된 클러스터 형성이 장려된다.
• 유전적 정보를 기반으로 부모 네트워크의 '유전자' 시퀀스에서 출발해 확률적 네트워크 생성을 수행하고, 이를 학습 및 후손 네트워크 선택을 통해 진화시킨다.
• 아키텍처 효율성은 원본 네트워크의 파라미터 수를 진화된 네트워크의 파라미터 수로 나눈 비율로 측정된다.
• 클러스터 효율성은 원본 네트워크 레이어의 커널 수를 진화된 네트워크 레이어의 커널 수로 나눈 비율로 정의되며, 병렬 하드웨어에서의 잠재적 성능 향상 정도를 나타낸다.

실험 결과

연구 질문

• RQ1 유전적 인코딩에서의 시냅스 클러스터링이 깊이 신경망에서 시냅스 수를 크게 줄이면서도 높은 테스트 정확도를 유지하는 데 기여할 수 있는가?
• RQ2 기존의 프루닝 및 압축 기법과 비교해 볼 때, 제안된 클러스터 기반 유전적 인코딩 체계는 아키텍처 효율성 측면에서 어떤가?
• RQ3 특히 소규모 데이터셋에서, 진화된 네트워크가 원본 부모 네트워크보다 더 우수한 일반화 성능을 보일 수 있는가?
• RQ4 희박한 시냅스 클러스터링 덕분에, 임베디드 GPU에서 진화된 네트워크가 상당한 성능 향상을 달성할 수 있는가?
• RQ5 유전적 인코딩 체계가 다양한 데이터셋과 네트워크 아키텍처에서 높은 효율성과 희박한 시냅스 클러스터 형성을 유도하는가?

주요 결과

• MNIST에서 13세대 네트워크는 원본 부모 네트워크 대비 시냅스 수가 125.09배 감소했으며, 테스트 정확도는 단지 1.7% 감소했다.
• STL-10에서 10세대 네트워크는 부모 네트워크 대비 56.27배 더 효율적이었으며, 정확도는 1.2% 감소했고, 소규모 데이터셋에서의 일반화 능력이 향상되었다.
• AlexNet 기반 CIFAR10에서는 6세대 네트워크가 원본 대비 14.39배 더 효율적이었고, 정확도는 2% 감소하여 다양한 아키텍처에 적용 가능함을 입증했다.
• 클러스터 효율성은 MNIST에서 9.71×, STL-10에서 5.96×, CIFAR10에서 2.82×에 도달하여 임베디드 GPU에서의 성능 향상 잠재력이 높음을 시사했다.
• 진화된 네트워크는 개선된 일반화 능력을 보였으며, STL-10에서의 후손 네트워크는 초기 세대에선 원본 부모 네트워크보다 더 높은 테스트 정확도를 기록했다.
• 시냅스 클러스터 기반 인코딩은 GPU에서 효율적인 병렬 계산과 부합하는 희박하고 농축된 연결 패턴의 형성을 성공적으로 유도했다.