[논문 리뷰] Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks

Andrew S. Davis, Itamar Arel|arXiv (Cornell University)|2013. 12. 16.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 49

한 줄 요약

이 논문은 ReLU 네트워크에서 전활성화 값의 부호를 추정함으로써 딥 네ural 네트워크에서 조건부 피드포워드 계산을 가능하게 하는 저랭크 근사 방법을 제안한다. SVD를 통해 가중치 행렬을 인수분해함으로써, ReLU 이후 출력이 0이 되는 뉴런을 사전에 예측하고, 이에 따라 계산을 건너뛸 수 있도록 함으로써, MNIST 및 SVHN 데이터셋에서 정확도 손실가능성은 최소화하면서도 상당한 속도 향상을 이룬다.

ABSTRACT

Scalability properties of deep neural networks raise key research questions, particularly as the problems considered become larger and more challenging. This paper expands on the idea of conditional computation introduced by Bengio, et. al., where the nodes of a deep network are augmented by a set of gating units that determine when a node should be calculated. By factorizing the weight matrix into a low-rank approximation, an estimation of the sign of the pre-nonlinearity activation can be efficiently obtained. For networks using rectified-linear hidden units, this implies that the computation of a hidden unit with an estimated negative pre-nonlinearity can be ommitted altogether, as its value will become zero when nonlinearity is applied. For sparse neural networks, this can result in considerable speed gains. Experimental results using the MNIST and SVHN data sets with a fully-connected deep neural network demonstrate the performance robustness of the proposed scheme with respect to the error introduced by the conditional computation process.

연구 동기 및 목표

• 불필요한 ReLU 뉴런 계산을 식별하고 건너뛰어 딥 네럴 네트워크의 계산 오버헤드를 줄이기.
• ReLU 활성화에 의해 유도되는 희박성과 가중치 행렬의 중복성을 활용하여 추론 효율성을 향상시키기.
• 완전히 계산하기 전에 어떤 은닉 유닛이 0 출력을 낼지를 예측할 수 있는 저비용, 저랭크 추정 메커니즘 개발하기.
• 완전히 연결된 네트워크에서 계산 절감과 모델 정확도 간의 상호 상충 관계 평가하기.
• 확장 가능하고 효율적인 방식으로 에포크당 한 번만 수행되는 SVD를 활용한 활성화 부호 추정의 타당성 탐색하기.

제안 방법

• 가중치 행렬 W를 U와 V로 분해함으로써 저랭크 행렬 인수분해(SVD를 통한)를 수행하여 W ≈ UV를 만족시킴.
• 활성화 추정기에서 sgn(a_l * U * V)를 계산하여 다음 레이어의 전활성화 값의 부호를 예측함.
• ReLU 유닛의 경우, 예측된 전활성화 값이 음수일 경우 뉴런의 출력이 0임을 알 수 있으므로, 계산을 건너뜀.
• 에포크당 한 번 SVD를 통해 추정기를 갱신함으로써 가중치 행렬의 저랭크 근사를 유지함.
• 추정기가 비제로 출력을 예측하는 활성화 값만 계산함으로써 조건부 계산을 적용함으로써 FLOPs를 감소시킴.
• 검증을 통해 초모수를 조정함으로써, MNIST 및 SVHN에서 완전히 연결된 네트워크에 이 방법을 적용함.

실험 결과

연구 질문

• RQ1 가중치 행렬의 저랭크 근사가 ReLU 네트워크에서 전활성화 값의 부호를 신뢰성 있게 예측할 수 있는가?
• RQ2 부호 예측에 기반해 ReLU 뉴런 계산을 건너뛸 경우, 정확도 저하 없이 얼마나 많은 추론 시간 절감이 가능한가?
• RQ3 다양한 저랭크 근사 랭크에 따라 조건부 계산 기법의 성능는 어떻게 변하는가?
• RQ4 에포크당 한 번의 SVD 갱신이 학습 에포크 전반에 걸쳐 추정 정확도를 유지하는 데에 충분한가?
• RQ5 이 방법은 CNN과 같은 다른 하드 임계 활성화 함수나 아키텍처로 일반화될 수 있는가?

주요 결과

• 풀랭크 네트워크를 사용할 경우 MNIST에서 테스트 오차가 1.40%로 나타났으며, 저랭크 추정기 사용 시에도 정확도 손실가능성이 최소화됨.
• 10-10-5 랭크 추정기조차도 MNIST에서 2.28%의 테스트 오차를 기록하여 저랭크 근사에 대한 강건성을 입증함.
• 50-35-25 및 25-25-25 랭크 구성에서는 각각 1.43% 및 1.60%의 오차를 기록하여 성능 저하가 거의 없음.
• SVHN 데이터셋에서도 다양한 네트워크 구성에서 조건부 계산 기법이 경쟁 가능한 성능 유지를 함.
• 에포크 내 미니배치 간에 가중치 갱신으로 인해 활성화 추정 오차가 약간 증가함을 관측함으로써, 온라인 저랭크 갱신이 필요함을 시사함.
• 저자들은 SVD 기반 추정이 ReLU 네트워크에서 출력 차이를 최소화하는 진정한 목표에 대해 최적화되어 있지 않음을 관측함으로써, 더 나은 근사 목표 함수가 필요함을 시사함.