[논문 리뷰] Delta Networks for Optimized Recurrent Network Computation

Daniel Neil, Jun Haeng Lee외 2명|arXiv (Cornell University)|2016. 12. 16.

Advanced Neural Network Applications참고 문헌 22인용 수 41

한 줄 요약

이 논문은 뉴런 활성화값이 임계값을 초과할 때만 전달되는 새로운 RNN 아키텍처인 델타 네트워크를 제안한다. 이는 메모리 액세스와 계산을 극적으로 줄이며, 자연 입력의 시간적 안정성을 활용해 정확도 손실이 거의 없는 조건에서 RNN 추론 속도를 최대 100배 빠르게 한다. 특히 활성화값이 시간에 따라 천천히 변화하는 비디오 및 음성 처리 작업에서 매우 효과적이다.

ABSTRACT

Many neural networks exhibit stability in their activation patterns over time in response to inputs from sensors operating under real-world conditions. By capitalizing on this property of natural signals, we propose a Recurrent Neural Network (RNN) architecture called a delta network in which each neuron transmits its value only when the change in its activation exceeds a threshold. The execution of RNNs as delta networks is attractive because their states must be stored and fetched at every timestep, unlike in convolutional neural networks (CNNs). We show that a naive run-time delta network implementation offers modest improvements on the number of memory accesses and computes, but optimized training techniques confer higher accuracy at higher speedup. With these optimizations, we demonstrate a 9X reduction in cost with negligible loss of accuracy for the TIDIGITS audio digit recognition benchmark. Similarly, on the large Wall Street Journal speech recognition benchmark even existing networks can be greatly accelerated as delta networks, and a 5.7x improvement with negligible loss of accuracy can be obtained through training. Finally, on an end-to-end CNN trained for steering angle prediction in a driving dataset, the RNN cost can be reduced by a substantial 100X.

연구 동기 및 목표

• 반복 신경망(RNNs)이 매 타임스텝마다 상태를 저장하고 참조해야 하므로 발생하는 높은 계산 및 메모리 비용을 줄이기 위해.
• 자연 입력—예를 들어 음성과 비디오—의 시간적 안정성을 활용하여 활성화값이 시간에 따라 천천히 변화하는 특성을 이용하기 위해.
• 높은 정확도를 유지하면서도 메모리 액세스와 계산 연산을 최소화할 수 있도록 훈련 최적화된 델타 네트워크 방법을 개발하기 위해.
• 활성화값 변화가 임계값 이하일 경우 중복 업데이트를 건너뛰어 RNN을 크게 가속화할 수 있음을 입증하기 위해.

제안 방법

• 표준 RNN을 재구성하여 밀도 높은 행렬-벡터 곱셈을, 활성화값 변화가 임계값을 초과하는 뉴런들만 업데이트하는 희소 곱셈으로 대체한다.
• 임계값 기반 델타 메커니즘은 전이적 근사 오차를 억제하기 위해 업데이트를 상당한 변화에 한정함으로써 오차 누적을 방지한다.
• 유한한 임계값 Θ를 사용하여 흐릴기를 제어하여, 유의미한 변화가 발생할 때만 계산과 메모리 액세스가 발생하도록 보장한다.
• 델타 업데이트 제약 조건 하에서 성능을 최적화하기 위해 훈련 중에 수정된 역전파 알고리즘을 적용한다.
• 이 방법은 GRU 기반 RNN에 적용되며, 가중치 행렬은 片상 메모리에 저장되고 뉴런의 델타가 임계값을 초과할 때만 액세스된다.
• 프레임워크는 TIDIGITS, Wall Street Journal, comma.ai 주행 데이터셋에서 평가되었으며, 정확도 저하가 거의 없는 높은 속도 향상을 보였다.

실험 결과

연구 질문

• RQ1 활성화값 변화가 임계값을 초과하는 뉴런들만 업데이트함으로써 RNN의 계산을 가속화하고, 메모리 및 계산 비용을 줄일 수 있는가?
• RQ2 임계값 Θ의 선택이 델타 네트워크 RNN에서 속도 향상과 정확도 사이의 트레이드오프에 미치는 영향은 어떠한가?
• RQ3 델타 네트워크로의 엔드 투 엔드 훈련이 실제 시간적 데이터에서 높은 정확도를 유지하면서도 뚜렷한 속도 향상을 이끌 수 있는가?
• RQ4 자연 입력인 음성과 비디오에서 관찰되는 시간적 중복성은 RNN 추론 비용을 줄이기 위해 어느 정도 활용될 수 있는가?
• RQ5 RNN과 CNN 간의 활성화값 및 가중치 메모리 요구사항의 차이로 인해 델타 네트워크 접근법이 RNN에 비해 CNN보다 더 효과적인가?

주요 결과

• TIDIGITS 음성 인식 벤치마크에서 최적화된 훈련을 통해 델타 네트워크는 계산 비용을 9배 감소시키며 정확도 손실이 거의 없었다.
• 대규모 Wall Street Journal 음성 인식 작업에서 재훈련을 통해 델타 네트워크로 전환함으로써 5.7배의 속도 향상이 달성되었으며 정확도 저하가 최소한이었다.
• 엔드 투 엔드 주행 정책 네트워크에서 RNN 구성요소는 시각적 특징의 높은 시간적 안정성으로 인해 100배의 속도 향상을 보였지만, 시스템 수준의 절감은 주로 CNN 비용이 지배적이므로 제한적이었다.
• 예측 오차가 증가하지 않은 채 뚜렷한 속도 향상이 달성되었으며, comma.ai 주행 데이터셋에서 Θ가 0.1에서 0.25 사이일 때 100배의 속도 향상이 관찰되었다.
• RNN은 모든 중간 상태를 저장해야 하므로 델타 기반 최적화에 더 적합하며, CNN보다 델타 네트워크 접근법이 RNN에 더 효과적이다.
• 연구는 실제 입력에서의 시간적 중복성이 델타 네트워크의 강력한 훈련과 결합될 경우 상당한 효율성 향상을 이끌 수 있음을 입증한다.