[논문 리뷰] Parallelizing Word2Vec in Shared and Distributed Memory

Shihao Ji, Nadathur Satish외 2명|arXiv (Cornell University)|2016. 04. 15.

Topic Modeling참고 문헌 17인용 수 21

한 줄 요약

이 논문은 메모리 대역폭을 많이 소비하는 벡터-벡터 연산을 최소화하고, 미니배치와 공유 음성 샘플링을 통해 행렬 곱셈 연산으로 대체함으로써 현대의 다중 코어 및 분산 아키텍처를 효율적으로 활용할 수 있도록 고성능, 확장 가능한 word2vec 구현을 제안한다. 이 방법은 32개 노드에서 거의 선형적 확장성을 달성하며, 정확도 손실을 최소화하면서도 분기당 1억 1,000만 개 이상의 단어를 처리할 수 있으며, 이는 지금까지의 10억 단어 벤치마크에서 가장 빠른 word2vec 구현이다.

ABSTRACT

Word2Vec is a widely used algorithm for extracting low-dimensional vector representations of words. It generated considerable excitement in the machine learning and natural language processing (NLP) communities recently due to its exceptional performance in many NLP applications such as named entity recognition, sentiment analysis, machine translation and question answering. State-of-the-art algorithms including those by Mikolov et al. have been parallelized for multi-core CPU architectures but are based on vector-vector operations that are memory-bandwidth intensive and do not efficiently use computational resources. In this paper, we improve reuse of various data structures in the algorithm through the use of minibatching, hence allowing us to express the problem using matrix multiply operations. We also explore different techniques to distribute word2vec computation across nodes in a compute cluster, and demonstrate good strong scalability up to 32 nodes. In combination, these techniques allow us to scale up the computation near linearly across cores and nodes, and process hundreds of millions of words per second, which is the fastest word2vec implementation to the best of our knowledge.

연구 동기 및 목표

• 기존 word2vec 구현이 메모리 대역폭을 많이 소비하는 수준-1 BLAS 연산(벡터-벡터 곱셈)에 의존하여 현대의 다중 코어 및 다수 코어 프로세서를 효율적으로 활용하지 못하는 문제를 해결하기 위해.
• 확률적 경사 하강법(SGD)의 본질적인 순차적 의존성을 극복하여 수렴성과 정확도를 훼손하지 않으면서도 병렬 계산을 가능하게 하기 위해.
• 최소한의 통신 오버헤드와 높은 처리량을 확보하면서도 여러 노드 간에 효율적으로 확장 가능한 분산 word2vec 시스템을 설계하기 위해.
• 원래 word2vec 모델과 비교해 예측 성능를 유지하면서도 CPU 클러스터에서 높은 훈련 속도를 달성하기 위해.

제안 방법

• 레벨-1 BLAS 연산을 레벨-3 BLAS의 행렬 곱셈으로 전환하기 위해 기존의 SGD 업데이트 방식을 미니배치 방식으로 대체함으로써 데이터 재사용과 하드웨어 활용도를 향상시킴.
• 미니배치 간에 공유 음성 샘플을 사용하여 중복 계산을 줄이고 모델 업데이트 효율성을 향상시킴.
• 분산 노드 간에 동기화된 모델 업데이트 전략을 구현하며, 통신과 계산의 균형을 맞추기 위해 조정 가능한 동기화 주기를 제공함.
• 노드 수가 증가함에 따라 수렴 속도를 유지하기 위해 간단한 학습률 조정 기법을 적용함으로써 AdaGrad나 RMSProp과 같은 복잡한 스케줄링 기법을 피함.
• 모델 업데이트 빈도를 줄이고 부분 모델 동기화를 사용하여 분산 클러스터에서 네트워크 트래픽을 최소화함으로써 통신을 최적화함.
• 현대 CPU(인텔 브로드웰 및 나이트스 랜딩)의 벡터 유닛과 곱셈-덧셈 명령어를 활용하여 행렬 연산을 가속화하고 성능을 향상시킴.

실험 결과

연구 질문

• RQ1 미니배치와 공유 음성 샘플링을 통해 word2vec을 레벨-1 BLAS에서 레벨-3 BLAS로 전환하는 데 성공적으로 활용할 수 있는가? 이는 하드웨어 활용도 향상에 기여하는가?
• RQ2 공유 메모리 및 분산 메모리 시스템에서 word2vec을 어떻게 효율적으로 병렬화할 수 있으며, 수렴성과 정확도를 유지할 수 있는가?
• RQ3 노드 수가 증가함에 따라 분산 word2vec 시스템에서 모델 업데이트 빈도와 통신 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 복잡한 적응형 최적화 기법 없이도 단순한 학습률 조정 전략이 수렴성과 예측 성능을 유지할 수 있는가?
• RQ5 제안된 방법이 코어와 노드 수에 따라 거의 선형적 확장성을 달성하면서도 분기당 수억 개의 단어를 초당 처리할 수 있는가?

주요 결과

• 제안된 방법은 최대 16개의 인텔 브로드웰 노드와 8개의 인텔 나이트스 랜딩 노드에서 거의 선형적 확장성을 달성하며, 처리량이 2,000만에서 1억 1,000만 단어/초로 증가함.
• 32개의 브로드웰 노드에서 시스템은 분기당 1억 1,000만 단어를 처리하며, 단어 유사도 정확도가 1% 감소(63.2 vs. 64.0)하고, 단어 유추 점수는 31.1(원본 32.4)로 약간 감소하여 고처리량을 유지하면서도 정확도 손실을 최소화함.
• 4개의 브로드웰 노드에서의 성능은 4개의 NVIDIA Titan-X GPU를 사용한 BIDMach와 동일한 2,000만 단어/초 성능을 기록하여 CPU 기반 성능이 뛰어남.
• 16개의 나이트스 랜딩 노드에서 시스템은 분기당 9,470만 단어를 처리하여 다수 코어 아키텍처에서 매우 높은 효율성을 보임.
• 16개 노드를 초과할 경우 모델 동기화 주기가 증가하면서 확장성 저하가 발생하지만, 32개 노드에서도 분기당 1억 개 이상의 단어를 처리하면서도 정확도는 수용 가능한 수준을 유지함.
• 제안된 방법은 원래 word2vec 모델과 비교해 예측 성능를 유지하며, 32개의 브로드웰 노드에서 단어 유사도 점수 63.2, 단어 유추 점수 31.1을 기록하여 고속 훈련이 모델 품질을 손상시키지 않음을 확인함.