[논문 리뷰] Efficient Exact Gradient Update for training Deep Networks with Very Large Sparse Targets

Pascal Vincent, Alexandre de Brébisson외 1명|arXiv (Cornell University)|2014. 12. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 17

한 줄 요약

이 논문은 신경어휘모델과 같이 매우 크고 흐าก한 타겟을 갖는 딥 네트워크에서 그래디언트 업데이트를 정확하게 O(d²)로 수행하는 알고리즘을 제안한다. 이는 D차원 출력을 명시적으로 계산하지 않음으로써 가능하다. 제곱오차 및 구면 소프트맥스와 같은 구조적 손실 함수를 활용하여 GPU에서 최대 3,257배, CPU에서 최대 763배의 속도 향상을 달성하였으며, 근사화나 계층적 트리 없이도 효율적인 학습을 가능하게 한다.

ABSTRACT

An important class of problems involves training deep neural networks with sparse prediction targets of very high dimension D. These occur naturally in e.g. neural language models or the learning of word-embeddings, often posed as predicting the probability of next words among a vocabulary of size D (e.g. 200 000). Computing the equally large, but typically non-sparse D-dimensional output vector from a last hidden layer of reasonable dimension d (e.g. 500) incurs a prohibitive O(Dd) computational cost for each example, as does updating the D x d output weight matrix and computing the gradient needed for backpropagation to previous layers. While efficient handling of large sparse network inputs is trivial, the case of large sparse targets is not, and has thus so far been sidestepped with approximate alternatives such as hierarchical softmax or sampling-based approximations during training. In this work we develop an original algorithmic approach which, for a family of loss functions that includes squared error and spherical softmax, can compute the exact loss, gradient update for the output weights, and gradient for backpropagation, all in O(d^2) per example instead of O(Dd), remarkably without ever computing the D-dimensional output. The proposed algorithm yields a speedup of D/4d , i.e. two orders of magnitude for typical sizes, for that critical part of the computations that often dominates the training time in this kind of network architecture.

연구 동기 및 목표

• 매우 큰 희박한 타겟 벡터(예: 어휘 크기의 출력)를 갖는 딥 네트워크 학습에서 발생하는 계산 병목 현상을 해결하기 위해.
• 계층적 소프트맥스나 음성 샘플링과 같은 근사 기법 없이도 정확한 그래디언트 계산과 가중치 업데이트를 가능하게 하기 위해.
• 출력층 연산의 O(Dd) 비용을 타겟 크기 D에 관계없이 독립적인 O(d²)로 감소시키기 위해.
• 대용량 어휘 작업에서 모델 정확도를 유지하면서 학습 속도를 극적으로 향상시키기 위해.
• 실제 데이터셋인 One Billion Word 코퍼스와 같은 환경에서의 실용성과 확장성 입증하기 위해.

제안 방법

• 출력 가중치 행렬 W = VU로 표현하여, V는 D×d이고 U는 d×d인 인자 분해를 통해 D차원 계산을 피함.
• 행렬 U와 은닉층 활성화 h를 사용하여 손실 및 그래디언트 계산을 재구성함으로써, 모든 연산을 d차원 공간에서 수행할 수 있도록 함.
• 제곱오차 및 구면 소프트맥스의 경우, D차원 출력 벡터를 전혀 형성하지 않고도 정확한 그래디언트 업데이트를 수행함.
• 손실 함수의 구조를 활용하여 그래디언트와 헤시안의 닫힌 형태 표현식을 유도함으로써 효율적인 최적화를 가능하게 함.
• CPU(CAL) 및 GPU(cuBLAS) 모두에서 효율적으로 구현되었으며, 출판 시 코드가 오픈소스로 공개됨.
• 온라인 및 미니배치 학습을 지원하며, 부동소수점 정밀도 수준까지 나태이브 기준과 수치적으로 동일한 결과 유지함.

실험 결과

연구 질문

• RQ1 D가 타겟 차원이고 d가 은닉층 크기일 때, 큰 희박 타겟에 대한 정확한 그래디언트 업데이트를 O(Dd)에서 O(d²)로 계산할 수 있는가?
• RQ2 제안된 방법이 대용량 어휘 작업에서 정확도를 희생시키지 않고도 상당한 속도 향상을 달성하는가?
• RQ3 정확성과 효율성을 유지하면서도 비표준 손실 함수인 구면 소프트맥스에 적용 가능한가?
• RQ4 실제로 계층적 소프트맥스나 음성 샘플링과 같은 근사 대안과 비교해 볼 때, 제안된 방법의 성능는 어떠한가?
• RQ5 80만 어휘 크기의 One Billion Word 코퍼스와 같은 실세계 데이터셋에 대해 알고리즘이 확장 가능한가?

주요 결과

• 제안된 알고리즘은 이론적으로 D/(4d)의 속도 향상을 달성하며, D=793,471, d=300일 경우 GPU에서 최대 3,257배, CPU에서 최대 763배의 속도 향상을 기록함.
• 요소화된 방법의 GPU 구현은 출력층만으로도 나태이브 기준 대비 3,257.3배 빠르며, 전체 모델 기준 속도 향상은 1,852.3배임.
• LST(Large Sparse Target) 모델은 SimLex-999 점수에서 소프트맥스 모델에 비해 약간 낮은 성능을 보였지만, 훨씬 더 빠른 학습 속도를 확보함.
• 알고리즘은 나태이브 기준과 수치적으로 동일한 결과를 유지하며, 부동소수점 정밀도 수준까지 동일한 학습 곡선과 모델 가중치(VU)를 확보함.
• 로그-로그 플롯에서 다양한 D 값에 대해 일정한 시간이 유지됨으로써, 속도 향상이 어휘 크기 D에 독립적임을 입증함.
• 계층적 소프트맥스보다도 빠른 학습 속도를 기록하였으며, 전체 모델 기준 CPU에서 125.2배, GPU에서 178.1배의 속도 향상 기록함.