[논문 리뷰] Conditional Deep Learning for Energy-Efficient and Enhanced Pattern Recognition

Priyadarshini Panda, Abhronil Sengupta외 1명|arXiv (Cornell University)|2015. 09. 29.

Advanced Neural Network Applications참고 문헌 17인용 수 7

한 줄 요약

이 논문은 조건부 딥 러닝(CDL)을 제안하며, 합성곱 특징에 선형 네트워크를 사용해 조건부로 초기 예측을 수행함으로써 딥 네트워크의 계산량을 동적으로 조절함으로써 에너지 소비를 1.84배 감소시키고, MNIST 분류 정확도를 97.5%에서 98.9%로 향상시키며 평균 연산 수를 1.91배 감소시킴.

ABSTRACT

Deep learning neural networks have emerged as one of the most powerful classification tools for vision related applications. However, the computational and energy requirements associated with such deep nets can be quite high, and hence their energy-efficient implementation is of great interest. Although traditionally the entire network is utilized for the recognition of all inputs, we observe that the classification difficulty varies widely across inputs in real-world datasets; only a small fraction of inputs require the full computational effort of a network, while a large majority can be classified correctly with very low effort. In this paper, we propose Conditional Deep Learning (CDL) where the convolutional layer features are used to identify the variability in the difficulty of input instances and conditionally activate the deeper layers of the network. We achieve this by cascading a linear network of output neurons for each convolutional layer and monitoring the output of the linear network to decide whether classification can be terminated at the current stage or not. The proposed methodology thus enables the network to dynamically adjust the computational effort depending upon the difficulty of the input data while maintaining competitive classification accuracy. We evaluate our approach on the MNIST dataset. Our experiments demonstrate that our proposed CDL yields 1.91x reduction in average number of operations per input, which translates to 1.84x improvement in energy. In addition, our results show an improvement in classification accuracy from 97.5% to 98.9% as compared to the original network.

연구 동기 및 목표

• 실세계 시각 응용 분야에서 딥 네트워크의 높은 계산 및 에너지 비용을 해결하기 위해.
• 입력 샘플의 분류 난이도가 크게 다름을 인지하고, 대부분의 경우 최소한의 계산만으로도 충분함을 인식하기 위해.
• 정확도를 희생시키지 않고도 쉽게 분류 가능한 입력에 대해 추론을 조기에 종료할 수 있는 메커니즘을 개발하기 위해.
• 특징 기반 난이도 평가에 기반해 더 깊은 네트워크 레이어를 조건부로 활성화함으로써 에너지 효율적인 딥 러닝을 실현하기 위해.
• 모델 정확도를 유지하거나 향상시키면서도 입력당 평균 계산 연산 수를 줄이기 위해.

제안 방법

• 각 합성곱 레이어에 연결된 출력 뉴런의 계단식 선형 네트워크를 도입하여 입력 난이도를 평가함.
• 각 선형 네트워크의 출력을 신뢰도 신호로 사용하여 더 깊은 레이어로 진행할지 또는 조기에 종료할지 결정함.
• 현재 단계의 신뢰도가 신뢰할 만한 분류를 위해 충분하지 않을 경우에만 깊은 레이어를 조건부로 활성화함.
• 각 단계에서 선형 네트워크의 출력을 모니터링하여 입력당 필요한 계산 깊이를 동적으로 결정함.
• 기존의 딥 네트워크 아키텍처를 유지하면서 특징 수준의 신뢰도 기반으로 조기 종료 기능을 추가함.
• 모든 단계의 손실 함수를 사용해 종합적으로 훈련하여 조기 종료 결정과 최종 분류 정확도를 동시에 최적화함.

실험 결과

연구 질문

• RQ1 딥 네트워크가 입력 난이도에 따라 추론 깊이를 동적으로 조절함으로써 계산 및 에너지 비용을 줄일 수 있는가?
• RQ2 얕은 레이어에서 추론을 조기에 종료하면 쉽게 분류 가능한 입력의 분류 정확도가 떨어지는가?
• RQ3 합성곱 특징에 연결된 계단식 선형 네트워크가 성능에 손상을 주지 않고 조기에 종료할 시점을 신뢰성 있게 예측할 수 있는가?
• RQ4 조건부 추론을 사용할 경우 에너지 절감과 정확도 향상 사이의 상호 교환 관계는 어떠한가?
• RQ5 모델 정확도를 훼손하지 않고 평균 연산 수와 에너지 소비를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 CDL 프레임워크는 MNIST 데이터셋에서 입력당 평균 연산 수를 1.91배 감소시킴.
• 조기 추론 종료 덕분에 표준 딥 네트워크 대비 에너지 소비가 1.84배 감소함.
• 기본 네트워크의 분류 정확도 97.5%가 CDL 모델에서 98.9%로 향상됨.
• 이 방법은 계산이 최소한으로 필요한 쉽게 분류 가능한 입력을 효과적으로 식별하며, 더 어려운 입력은 깊은 레이어를 통해 진행함.
• 계단식 선형 네트워크는 메인 네트워크 재학습 없이도 신뢰성 있고 효율적인 조기 예측 메커니즘을 제공함.
• 정확도 향상은 조기 종료가 훈련 중 더 어려운 샘플에 집중함으로써 모델이 더 강건한 특징을 학습하는 데 기여할 수 있음을 시사함.