[논문 리뷰] Swivel: Improving Embeddings by Noticing What's Missing

Noam Shazeer, Ryan Doherty외 2명|arXiv (Cornell University)|2016. 02. 06.

Advanced Graph Neural Networks참고 문헌 13인용 수 56

한 줄 요약

Swivel은 공현 행렬에서 유도된 점별 상호정보량(PMI) 행렬의 근사 분해를 수행함으로써 저차원 특징 임베딩을 학습하는 확장성 있고 분산된 방법이다. 이는 관측되지 않은 공현을 소프트 허지 손실을 통해 명시적으로 모델링하는 조각별 손실 함수를 사용하여 희귀 특징에서 뛰어난 성능을 내지만 일반적인 특징에서는 정확도를 유지한다. 또한 분산 워커 간 벡터화된 계산과 조각화된 행렬 처리를 통해 효율적으로 확장된다.

ABSTRACT

We present Submatrix-wise Vector Embedding Learner (Swivel), a method for generating low-dimensional feature embeddings from a feature co-occurrence matrix. Swivel performs approximate factorization of the point-wise mutual information matrix via stochastic gradient descent. It uses a piecewise loss with special handling for unobserved co-occurrences, and thus makes use of all the information in the matrix. While this requires computation proportional to the size of the entire matrix, we make use of vectorized multiplication to process thousands of rows and columns at once to compute millions of predicted values. Furthermore, we partition the matrix into shards in order to parallelize the computation across many nodes. This approach results in more accurate embeddings than can be achieved with methods that consider only observed co-occurrences, and can scale to much larger corpora than can be handled with sampling methods.

연구 동기 및 목표

• 관측된 공현과 관측되지 않은 공현을 모두 포괄하는 대규모 공현 행렬에서 고품질의 특징 임베딩을 학습할 수 있는 확장성 있는 방법을 개발하는 것.
• GloVe와 SGNS와 같은 기존 방법의 한계를 해결하는 것 — 즉, 관측되지 않은 공현을 간과하거나 코퍼스 크기에 따라 성능이 급격히 떨어지는 문제.
• 희귀 특징에 대한 임베딩 품질을 향상시키되, 빈도가 높은 특징의 성능을 떨어뜨리지 않는 것.
• 벡터화된 연산과 조각화를 활용하여 대규모 공현 행렬에서 효율적이고 분산된 훈련을 가능하게 하는 것.

제안 방법

• Swivel은 특징 공현 행렬에서 유도된 점별 상호정보량(PMI) 행렬의 분해를 근사하기 위해 확률적 경사 하강법을 수행한다.
• 관측된 공현(빈도 가중 오차)과 관측되지 않은 공현(실제 PMI 과도 추정을 방지하기 위해 소프트 허지 손실 사용)을 구분하는 조각별 손실 함수를 사용한다.
• 알고리즘은 단어 임베딩과 컨텍스트 임베딩의 내적을 실제 PMI 값의 근사로 모델링한다: $ w_i^ op \tilde{w}_j \approx \text{pmi}(i;j) = \log x_{ij} + \log|D| - \log x_{i*} - \log x_{*j} $.
• 효율적인 확장을 위해 Swivel은 공현 행렬을 조각화된 부분행렬으로 분할하여 다수의 워커 노드에서 병렬 처리할 수 있도록 한다.
• 벡터화된 행렬 곱셈을 사용하여 수백만 개의 예측된 PMI 값을 동시에 계산하며, GPU 가속을 통해 고처리량을 달성한다.
• 블록 구조는 파라미터 전송 비용을 분할 처리하고 분산 훈련 환경에서의 경쟁을 줄인다.

실험 결과

연구 질문

• RQ1 관측되지 않은 공현을 명시적으로 모델링하는 방법이 이를 忽시하는 방법보다 더 나은 임베딩을 생성할 수 있는가?
• RQ2 관측되지 않은 공현 정보의 포함 여부가 희귀 특징과 빈도가 높은 특징에서의 성능에 어떤 영향을 미치는가?
• RQ3 SGNS와 같은 샘플링 기반 방법보다 Swivel과 같은 카운트 기반 방법이 더 큰 코퍼스로 확장 가능한가?
• RQ4 관측된 공현과 관측되지 않은 공현을 다르게 처리하는 조각별 손실 함수가 더 안정적이고 정확한 임베딩을 도출하는가?
• RQ5 벡터화 및 조각화된 계산은 대규모 공현 행렬에서의 확장 가능한 훈련을 얼마나 효과적으로 가능하게 하는가?

주요 결과

• Swivel은 아날로그 추론 작업에서 SGNS와 GloVe를 모두 능가하며, 특히 희귀어에서 모든 빈도 버킷에서 유의미하게 더 높은 정확도를 달성한다.
• 가장 빈도가 높은 단어에서는 모든 모델이 성능이 열악한 편이지만, Swivel은 성능 저하 없이 일관된 성능을 유지한다.
• GloVe는 희귀어에서 SGNS보다 성능이 열등하여 일반 단어에 대한 피팅을 우선시하면서 희귀어 성능을 희생시키는 것으로 보이며, Swivel은 이러한 상충관계를 피한다.
• Swivel의 성능은 단어 빈도 전반에서 뛰어나며, 특히 저빈도 영역에서 SGNS와 GloVe에 비해 일관된 향상을 보인다.
• 이 방법은 효율적으로 확장 가능하다: 단일 GPU를 사용할 경우, 1024차원 임베딩에서 매초 약 2억 개의 PMI 값을 벡터화된 행렬 곱셈으로 추정할 수 있다.
• Swivel은 수백 대의 워커 머신에서 성공적으로 병렬 처리되며, 조각화와 파라미터 전송 분할 덕분에 분산 환경에서 강력한 확장성을 입증했다.