[논문 리뷰] Ternary Hybrid Neural-Tree Networks for Highly Constrained IoT Applications

Dibakar Gope, Ganesh Dasika외 1명|arXiv (Cornell University)|2019. 04. 15.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 고도로 제약된 IoT 기기에서 계산 및 메모리 오버헤드를 줄이기 위해 신경망과 결정 트리를 조합하고 삼진수 양자화를 적용한 삼진수 하이브리드 신경수 네트워크를 제안한다. 제안된 방법은 최신 키워드 스포팅 신경망 대비 계산 수를 11.1% 감소시키고, 모델 크기를 52.2% 줄이며, 메모리 프로파일을 30.6% 감소시켰으며, 정확도 손실은 거의 없이 달성한다.

ABSTRACT

Machine learning-based applications are increasingly prevalent in IoT devices. The power and storage constraints of these devices make it particularly challenging to run modern neural networks, limiting the number of new applications that can be deployed on an IoT system. A number of compression techniques have been proposed, each with its own trade-offs. We propose a hybrid network which combines the strengths of current neural- and tree-based learning techniques in conjunction with ternary quantization, and show a detailed analysis of the associated model design space. Using this hybrid model we obtained a 11.1% reduction in the number of computations, a 52.2% reduction in the model size, and a 30.6% reduction in the overall memory footprint over a state-of-the-art keyword-spotting neural network, with negligible loss in accuracy.

연구 동기 및 목표

• 현대 신경망을 전력 및 스토리지가 제약된 IoT 기기에서 구현하는 데 도전하는 문제를 해결하기 위해.
• 엣지 AI 응용 프로그램에서 높은 정확도를 유지하면서 계산 복잡도와 메모리 프로파일을 줄이기 위해.
• IoT 워크로드를 위한 하이브리드 신경수 아키텍처의 설계 공간을 탐색하기 위해.
• 성능을 희생시키지 않고도 상당한 모델 압축과 효율성 향상을 달성하기 위해.

제안 방법

• 이 방법은 피드포워드 신경망과 결정 트리를 통합하여 딥 러닝의 표현 능력과 트리 기반 모델의 효율성을 활용하는 하이브리드 아키텍처를 구축한다.
• 가중치와 활성화에 삼진수 양자화를 적용하여 정밀도를 -1, 0, +1로 줄여 메모리와 계산량을 최소화한다.
• 모델은 유연한 라우팅 메커니즘을 통해 끝에서 끝까지 훈련되며, 이는 모델이 어떤 샘플은 신경 성분이, 어떤 샘플은 트리 성분이 더 잘 분류하도록 학습할 수 있도록 한다.
• 모델 압축은 FLOPs와 파라미터 수를 최소화하는 데 중점을 두고 구조적 프루닝과 양자화를 통해 달성된다.
• 다양한 IoT 배포 환경에서 정확도, 모델 크기, 추론 속도 간의 균형을 맞추기 위해 설계 공간을 체계적으로 분석한다.

실험 결과

연구 질문

• RQ1 하이브리드 신경수 아키텍처는 어떻게 고도로 제약된 IoT 환경에서 효율성을 향상시킬 수 있는가?
• RQ2 신경망과 결정 트리를 조합할 때 모델 크기, 계산량, 정확도 간 최적의 트레이드오프는 무엇인가?
• RQ3 삼진수 양자화가 성능 저하 없이 얼마나 많은 메모리와 계산량을 줄일 수 있는가?
• RQ4 신경 성분과 트리 성분의 통합은 추론 속도와 에너지 효율성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 하이브리드 네트워크는 최신 키워드 스포팅 신경망 대비 계산 수를 11.1% 감소시켰다.
• 기준 신경망 대비 모델 크기가 52.2% 감소했다.
• 정확도 손실이 거의 없이 전체 메모리 프로파일이 30.6% 감소했다.
• 삼진수 양자화와 하이브리드 아키텍처의 조합은 성능 저하 최소화로 상당한 압축을 달성했다.