[논문 리뷰] Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks

Mohammad Javad Shafiee, Francis Li외 1명|arXiv (Cornell University)|2017. 07. 01.

Evolutionary Algorithms and Applications참고 문헌 7인용 수 3

한 줄 요약

이 논문은 생물학적 합성 과정을 모방한 확률적 모델을 사용하여 세대 간에 16비트 시냅스 정밀도 제약을 강제하는 진화적 합성 프레임워크를 제안한다. 이는 더 희소하고 빠른 네트워크를 진화시키기 위해 확률적 유전 모델을 활용하며, Parse-27k 데이터셋에서 시냅스 수를 10배 감소시키고 추론 속도를 7에서 37 fps로 30+ fps 향상시켰다. 정밀도와 재현율은 일관되게 유지되었다.

ABSTRACT

A key contributing factor to incredible success of deep neural networks has been the significant rise on massively parallel computing devices allowing researchers to greatly increase the size and depth of deep neural networks, leading to significant improvements in modeling accuracy. Although deeper, larger, or complex deep neural networks have shown considerable promise, the computational complexity of such networks is a major barrier to utilization in resource-starved scenarios. We explore the synaptogenesis of deep neural networks in the formation of efficient deep neural network architectures within an evolutionary deep intelligence framework, where a probabilistic generative modeling strategy is introduced to stochastically synthesize increasingly efficient yet effective offspring deep neural networks over generations, mimicking evolutionary processes such as heredity, random mutation, and natural selection in a probabilistic manner. In this study, we primarily explore the imposition of synaptic precision restrictions and its impact on the evolutionary synthesis of deep neural networks to synthesize more efficient network architectures tailored for resource-starved scenarios. Experimental results show significant improvements in synaptic efficiency (~10X decrease for GoogLeNet-based DetectNet) and inference speed (>5X increase for GoogLeNet-based DetectNet) while preserving modeling accuracy.

연구 동기 및 목표

• 심합 정밀도 제약을 도입할 경우 진화적 합성된 딥 네트워크에 미치는 영향을 조사하는 것.
• 자원 제약 환경에서 딥 러닝의 계산 및 메모리 비용을 줄이는 데 도전하는 것.
• 심합 정밀도 제약이 성능을 희생시키지 않고도 더 효율적이고 저정밀도 DNN을 진화시키는 데 활용될 수 있는지 탐색하는 것.
• 생물학적 시냅토간성과 유사한 확률적 생성 진화 프레임워크에 심합 정밀도 제약을 통합하는 것.
• 정밀도 제약 하에서 모델 효율성(시냅스 수, 추론 속도)과 모델링 정확도(정밀도, 재현율) 간의 상호 교환 관계를 평가하는 것.

제안 방법

• 진화적 합성은 '유전적 인코딩'으로서의 심합 확률 모델 $ P(S_g|W_{g-1}) $ 을 사용하며, 이는 세대 간 유전적 특성을 나타낸다.
• 자손 네트워크는 $ P(S_g) \triangleq P(S_g|W_{g-1}) \times F(\bar{\theta}) $ 를 통해 확률적으로 합성되며, 여기서 $ F(\bar{\theta}) $ 는 네트워크 아키텍처에 영향을 주는 환경적 요인을 나타낸다.
• 기존의 유전자 알고리즘 또는 진화 프로그래밍과 같은 전통적 신경진화 방법을 대체하기 위해 확률적 생성 모델 전략을 사용한다.
• 32비트 정밀도에서 훈련을 마친 후, 심합 가중치는 16비트(반정밀도)로 제약되어 저정밀도 연산을 강제하며, 이는 향후 세대에 영향을 준다.
• 13세대에 걸쳐 반복적으로 네트워크를 진화시키며, Caffe와 TensorRT를 사용하여 Parse-27k 데이터셋에서 추론 속도, 시냅스 수, 정확도를 모니터링한다.
• 환경 조건은 희소성과 효율성을 유도하도록 조정되어, 확률적 시냅토간성 과정을 컴act하고 고속 아키텍처로 이끌어낸다.

실험 결과

연구 질문

• RQ1 16비트 심합 정밀도 제약을 도입할 경우, 딥 네트워크의 진화적 합성에 모델 효율성과 성능에 어떤 영향을 미치는가?
• RQ2 심합 정밀도 감소를 확률적 진화 프레임워크에 효과적으로 통합하여 희소하고 고속의 DNN을 생성할 수 있는가?
• RQ3 진화 과정 중에 심합 정밀도를 반정밀도(16비트)로 제한할 경우 모델링 정확도는 어느 정도 유지되는가?
• RQ4 정밀도 제약 하에서 세대 간에 시냅스 수와 추론 속도는 어떻게 변화하는가?
• RQ5 진화적 합성 과정이 자원 제약 환경에서 계산 효율적이고 정확한 DNN을 생성할 수 있는가?

주요 결과

• 진화된 13세대 네트워크는 Jetson TX1에서 37 fps의 추론 속도를 달성하여 첫 번째 세대의 7 fps 대비 430% 향상되었다.
• 13세대에 걸쳐 시냅스 수가 10배 감소하여 극적인 아키텍처 희소화가 이루어졌다.
• 정밀도는 거의 일정했으며, 첫 번째 세대에서 13세대까지 약 2% 증가하였다.
• 재현율은 세대 간 약 2% 감소하여 탐지 민감도에 미미한 열화가 있었음을 나타냈다.
• 심합 정밀도 제약과 진화적 합성의 조합은 계산 및 메모리 요구량을 극적으로 줄였지만 높은 모델링 성능을 유지했다.
• 16비트 정밀도 제약을 진화 과정에 통합함으로써 효율적이고 저정밀도 DNN의 출현을 효과적으로 이끌어내어 엣지 배포에 적합한 아키텍처를 도출할 수 있었다.