[논문 리뷰] Structured Convolution Matrices for Energy-efficient Deep learning

Rathinakumar Appuswamy, Tapan K. Nayak외 7명|arXiv (Cornell University)|2016. 06. 08.

Neural Networks and Applications참고 문헌 52인용 수 10

한 줄 요약

이 논문은 블록 토플리츠 형식을 기반으로 한 구조적 컨볼루션 행렬을 제안하여 뉴모르픽 하드웨어, 특히 IBM의 트루노스 아키텍처에서 에너지 효율적인 딥러닝을 가능하게 한다. 진동수 이산 컨볼루션과 트루노스의 가중치 표현 방식 간의 수학적 연결을 활용하여, 저자들은 새로운 노이즈 기반 학습 방법을 통해 이진 활성화 네트워크를 훈련시키며 수렴성을 향상시켰고, CIFAR-10에서 87.5%의 정확도를 달성하면서 기존 요구사항 대비 50% 이상 감소한 13,216개의 트루노스 코어를 사용하였다.

ABSTRACT

We derive a relationship between network representation in energy-efficient neuromorphic architectures and block Toplitz convolutional matrices. Inspired by this connection, we develop deep convolutional networks using a family of structured convolutional matrices and achieve state-of-the-art trade-off between energy efficiency and classification accuracy for well-known image recognition tasks. We also put forward a novel method to train binary convolutional networks by utilising an existing connection between noisy-rectified linear units and binary activations.

연구 동기 및 목표

• 에너지 효율적인 뉴모르픽 하드웨어, 예를 들어 IBM의 트루노스와 같은 하드웨어에 직접 매핑되는 구조적 컨볼루션 행렬의 가족을 개발하는 것.
• 안정적인 기울기와 빠른 수렴을 보장하는 이진 활성화 컨볼루션 네트워크의 훈련을 가능하게 하는 것.
• 최첨단 이미지 인식 정확도를 달성하기 위해 필요한 뉴모르픽 코어의 수를 줄이는 것.
• 최저 전력 플랫폼에 배포 가능한 네트워크를 생성할 수 있도록 하드웨어 인식 훈련 프레임워크를 구축하는 것.

제안 방법

• 트루노스의 시냅스 크로스바 아키텍처에서 사용하는 가중치 표현 방식과 블록 토플리츠 행렬 간의 수학적 동치성을 유도한다.
• 이산화된 임계값 신경망 활성화를 근사하기 위해 노이즈가 포함된 Rectified Linear Units(노이즈 ReLU)를 사용하는 새로운 훈련 방법을 도입하여 정확한 기울기 역전파를 가능하게 한다.
• 컨볼루션 커널을 작은 기저 값 집합에서 이동 연산자(Shift Operators)를 이용해 생성하는 매개변수화된 구조적 행렬 가족을 활용한다.
• 훈련 중 하드웨어 효율성을 유지하기 위해 커널 구조에 제약 조건을 가한 확률적 경사 하강법을 적용한다.
• 학습된 커널을 트루노스의 4개 항목 룩업 테이블로 매핑하기 위해 강도 함수와 입력 유형 인덱싱을 사용한다.
• 커널 구조가 네 개의 서로 다른 값과 두 개의 교환 가능한 이동 연산자로부터 유일하게 재구성될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 뉴모르픽 하드웨어, 예를 들어 트루노스와 같은 하드웨어의 가중치 표현 방식과 일치하는 구조적 컨볼루션 행렬을 유도할 수 있는가?
• RQ2 임계값에서 미분 가능하지 않은 기울기로 인해 이진 활성화 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ3 구조적 커널을 사용할 경우 이미지 인식 작업에서 높은 정확도를 달성하기 위해 필요한 최소한의 뉴모르픽 코어 수는 얼마인가?
• RQ4 노이즈가 포함된 ReLU와 이진 신경망 간의 동치성을 활용하여 훈련의 안정성과 수렴성을 향상시킬 수 있는가?

주요 결과

• 제안된 구조적 컨볼루션 행렬은 기존 최첨단 기술의 31,872개 코어 대비 58% 감소한 13,216개의 트루노스 코어만으로 CIFAR-10에서 상위-1 정확도 87.5%를 달성한다.
• 노이즈가 포함된 ReLU와 결정론적 임계값 신경망 간의 동치성을 활용하여 이진 활성화 네트워크의 엔드 투 엔드 훈련이 안정적인 기울기로 가능해진다.
• 커널 구조는 네 개의 기저 값과 두 개의 교환 가능한 이동 연산자로 완전히 결정되며, 이는 압축되고 하드웨어 효율적인 표현을 가능하게 한다.
• 유도된 행렬 가족은 블록 토플리츠 행렬과 동형이며, 이는 이산 컨볼루션 연산과의 호환성을 보장한다.
• 노이즈 ReLU를 사용한 훈련 절차는 정확한 기울기 추정치를 생성하여 수렴 속도를 가속화하고 모델 성능을 향상시킨다.
• 알고리즘 설계를 하드웨어 제약 조건과 공동 최적화함으로써 뛰어난 에너지 효율성을 달성할 수 있음을 보여준다.