[논문 리뷰] Energy Efficient Hadamard Neural Networks

Tuba Ceren Deveci, Serdar Çakır외 1명|arXiv (Cornell University)|2018. 05. 14.

Face and Expression Recognition참고 문헌 18인용 수 16

한 줄 요약

이 논문은 이진 가중치 및 헤르무이트 변환된 이미지 신경망(Binary Weight and Hadamard-transformed Image Networks, BWHIN)을 제안하며, 이는 이진 가중치 신경망(BWN)과 헤르무이트 변환된 이미지 신경망(HIN)을 융합한 에너지 효율적인 딥러닝 프레임워크이다. 컨볼루션 계층의 가중치를 이진화하고 입력 이미지에 빠른 월리스-헤르무이트 변환(Fast Walsh-Hadamard Transform)을 적용함으로써, 덧셈/뺄셈 연산만을 사용하는 방식으로 고비용의 곱셈 연산을 제거하여 에너지 소비를 크게 절감하면서도 분류 정확도의 감소가 미미하여, 특히 MNIST 및 CIFAR-10 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Deep learning has made significant improvements at many image processing tasks in recent years, such as image classification, object recognition and object detection. Convolutional neural networks (CNN), which is a popular deep learning architecture designed to process data in multiple array form, show great success to almost all detection \& recognition problems and computer vision tasks. However, the number of parameters in a CNN is too high such that the computers require more energy and larger memory size. In order to solve this problem, we propose a novel energy efficient model Binary Weight and Hadamard-transformed Image Network (BWHIN), which is a combination of Binary Weight Network (BWN) and Hadamard-transformed Image Network (HIN). It is observed that energy efficiency is achieved with a slight sacrifice at classification accuracy. Among all energy efficient networks, our novel ensemble model outperforms other energy efficient models.

연구 동기 및 목표

• 모바일 및 임베디드 시스템에서 표준 컨볼루션 신경망(CNN)의 높은 에너지 소비와 메모리 사용을 해결한다.
• 가중치 및 입력 데이터 양쪽에서 부동소수점 곱셈을 덧셈/뺄셈 연산으로 대체함으로써 계산 비용을 감소시킨다.
• 이진 가중치 신경망(BWN)과 헤르무이트 변환된 이미지 신경망(HIN)을 융합한 새로운 하이브리드 아키텍처를 개발하여 에너지 효율성과 내성 강도를 향상시킨다.
• 표준 벤치마크(MNIST 및 CIFAR-10)에서 제안된 모델을 평가하여 에너지 효율성과 분류 정확도 사이의 상호 교환 관계를 분석한다.
• 네트워크 아키텍처(예: 풀링 대비 스트라이드 컨볼루션)와 평균화 전략이 에너지 제약 환경에서 성능에 미치는 영향을 조사한다.

제안 방법

• 컨볼루션 계층 필터를 +1 또는 -1의 이진 값으로 근사화함으로써 이진 가중치 신경망(BWN)을 도입하여 덧셈과 뺄셈만으로도 컨볼루션 연산을 수행한다.
• 입력 이미지에 빠른 월리스-헤르무이트 변환(FWHT)을 적용하여, FWHT가 덧셈과 뺄셈만을 사용한다는 점을 활용한다.
• BWN과 HIN을 통합하여 두 가지 평균화 기법(일반 평균화 및 랜덤 평균화)을 사용해 출력을 조합하는 통합 앙상블 모델인 BWHIN을 제안한다.
• 에너지 효율성과 정확도의 상호 교환 관계를 비교하기 위해 두 가지 CNN 아키텍처를 사용: ConvoPool-CNN(최대 풀링 레이어를 포함)과 All-CNN(풀링 대신 스트라이드 컨볼루션 사용)
• BWHIN의 두 변종을 구현: BWHIN-NormalAvg와 BWHIN-RandomAvg이며, 후자는 랜덤 평균화를 통해 내성 강도와 성능을 향상시킨다.
• MNIST 및 CIFAR-10에서 모델을 훈련 및 미세조정하며, 학습률 및 네트워크 깊이와 같은 하이퍼파ram터가 분류 정확도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 이진 가중치와 헤르무이트 변환된 입력을 융합함으로써, 분류 정확도를 손상시키지 않고도 CNN 추론 과정의 에너지 소비를 크게 줄일 수 있는가?
• RQ2 하이브리드 BWHIN 모델의 성능은 개별 구성 요소인 BWN과 HIN과 비교해 정확도 및 에너지 효율성 측면에서 어떻게 다른가?
• RQ3 특히 풀링 기반과 스트라이드 컨볼루션 기반 아키텍처 간의 차이가 에너지 효율 네트워크에서 에너지-정확도 상호 교환 관계에 어떤 영향을 미치는가?
• RQ4 BWHIN 출력의 랜덤 평균화가 일반 평균화 및 개별 서브넷 대비 일관되게 높은 내성 강도와 정확도를 보일 수 있는가?
• RQ5 CIFAR-10과 같은 더 복잡한 데이터셋에서 BWHIN의 정확도 격차를 줄이기 위해 네트워크 용량(깊이 또는 너비)을 증가시킬 경우, 이를 통해 상태기준 모델에 가까운 성능을 달성할 수 있는가?

주요 결과

• 랜덤 평균화를 사용한 BWHIN 모델(BWHIN-RandomAvg)은 MNIST 데이터셋에서 98.96%의 테스트 정확도를 달성하여 BWN과 HIN 각각의 개별 성능을 초월했다.
• CIFAR-10에서 BWHIN-RandomAvg는 72.65%의 테스트 정확도를 기록하여, HIN(67.30%)과 BWN(67.70%)에 비해 뚜렷한 향상을 보였다.
• 스트라이드 컨볼루션을 사용하는 All-CNN 아키텍처는 풀링 레이어를 포함한 ConvoPool-CNN보다 더 에너지 효율적이었으며, 이는 계산 낭비가 줄어들었기 때문이다.
• 에너지 절감에도 불구하고, 제안된 모델은 정밀한 네트워크 대비 정확도 손실이 미미했으며, BWHIN은 MNIST에서 거의 최신 기술 수준의 성능을 달성했다.
• BWHIN 앙상블 모델은 내성 강도가 뛰어났다: 예를 들어 HIN이 훈련에 실패하더라도 다른 서브넷인 BWN이 보완하여 전체 정확도를 유지했다.
• 하이퍼파ram터 튜닝 결과, BWN은 변화에 매우 강건한 반면, HIN은 차원이 2의 거듭제곱이 아닐 경우 헤르무이트 변환 과정에서 이미지 크기가 확장되어 성능이 약간 저하되는 경향을 보였다.