[논문 리뷰] SOLAR: Sparse Orthogonal Learned and Random Embeddings

Tharun Medini, Beidi Chen외 1명|arXiv (Cornell University)|2021. 05. 03.

Text and Document Classification Technologies참고 문헌 34인용 수 6

한 줄 요약

이 논문은 최대 500K 차원에 이르는 초희박한 고차원 임베딩을 훈련하기 위한 SOLAR 방법을 제안한다. 이는 비용이 많이 드는 근접 이웃 검색을 빠른 룩업으로 대체한다. 무작위로, 희박하게, 거의 직교적인 레이블 벡터와 학습된 희박한 쿼리 벡터를 사용함으로써, SOLAR는 책 검색 및 다중 레이블 분류 작업에서 최신 기준(SOTA) 성능을 달성하며, 추론 속도가 최대 10배 빨라지고, 다중 GPU 훈련을 통신 없이 가능하게 하는 새로운 분할 기반 설계를 통해 실현한다.

ABSTRACT

Dense embedding models are commonly deployed in commercial search engines, wherein all the document vectors are pre-computed, and near-neighbor search (NNS) is performed with the query vector to find relevant documents. However, the bottleneck of indexing a large number of dense vectors and performing an NNS hurts the query time and accuracy of these models. In this paper, we argue that high-dimensional and ultra-sparse embedding is a significantly superior alternative to dense low-dimensional embedding for both query efficiency and accuracy. Extreme sparsity eliminates the need for NNS by replacing them with simple lookups, while its high dimensionality ensures that the embeddings are informative even when sparse. However, learning extremely high dimensional embeddings leads to blow up in the model size. To make the training feasible, we propose a partitioning algorithm that learns such high dimensional embeddings across multiple GPUs without any communication. This is facilitated by our novel asymmetric mixture of Sparse, Orthogonal, Learned and Random (SOLAR) Embeddings. The label vectors are random, sparse, and near-orthogonal by design, while the query vectors are learned and sparse. We theoretically prove that our way of one-sided learning is equivalent to learning both query and label embeddings. With these unique properties, we can successfully train 500K dimensional SOLAR embeddings for the tasks of searching through 1.6M books and multi-label classification on the three largest public datasets. We achieve superior precision and recall compared to the respective state-of-the-art baselines for each task with up to 10 times faster speed.

연구 동기 및 목표

• 상용 검색 엔진에서 사용되는 밀도 높은 임베딩 모델의 쿼리 시간 및 정확도 제약을 해결하기 위해.
• 극도의 희박성과 고차원 임베딩이 비용이 많이 드는 근접 이웃 검색을 효율적인 룩업으로 대체하면서도 모델의 정보성은 유지할 수 있는지 탐색하기 위해.
• 다중 GPU 간 통신 오버헤드 없이 500K차원 임베딩으로 확장 가능한 훈련 방법을 설계하기 위해.
• 최신 기준 밀도 높은 임베딩 모델 대비 훨씬 뛰어난 검색 및 분류 성능을 달성하기 위해.

제안 방법

• 희박하고 직교적이며, 학습된 임베딩과 무작위 임베딩의 혼합인 SOLAR 프레임워크를 도입한다. 여기서 레이블 벡터는 무작위이며 희박하고, 쿼리 벡터는 학습된다.
• 새로운 비대칭 단방향 학습 전략을 적용한다: 쿼리 벡터만 훈련하고, 레이블 벡터는 무작위로, 희박하게, 거의 직교하도록 고정한다.
• 제안된 설계 하에 쿼리 및 레이블 임베딩을 함께 훈련하는 것과 동일한 결과를 도출하는 단방향 학습의 이론적 증명을 수행한다.
• 임베딩 공간을 GPU 간에 분할함으로써 다중 GPU 간 통신 없이 고차원 임베딩을 훈련할 수 있도록 하는 분할 알고리즘을 설계한다.
• 학습된 쿼리 벡터와 고정된 무작위 레이블 벡터 간의 유사도를 최적화하는 손실 함수를 사용하여 효율적이고 확장 가능한 훈련을 가능하게 한다.
• 무작위 희박한 레이블 벡터의 거의 직교성 특성을 활용하여, 극도의 희박성에서도 높은 표현력을 유지한다.

실험 결과

연구 질문

• RQ1 초희박하고 고차원 임베딩이 검색 및 분류 작업에서 밀도 높은 임베딩을 대체할 수 있을까? 효율성과 정확도가 향상될 수 있을까?
• RQ2 단방향 학습(무작위로, 희박하게, 거의 직교적인 레이블 벡터를 고정하고 쿼리 벡터만 훈련)이 쿼리 및 레이블 임베딩을 함께 훈련하는 것과 동일한가?
• RQ3 500K차원 임베딩을 GPU 간 통신 없이 다중 GPU에서 효율적으로 훈련할 수 있는가?
• RQ4 제안된 방법이 실제 검색 및 분류 작업에서 최신 기준 밀도 높은 임베딩 모델 대비 정밀도, 재현율, 추론 속도에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• SOLAR는 160만 권의 책을 검색하는 작업에서 기존의 밀도 높은 임베딩 기반 모델들을 능가하는 최신 기준 정밀도 및 재현율을 달성한다.
• 세 개의 가장 큰 공개 다중 레이블 분류 데이터셋에서, 각각의 최신 기준 기반 모델 대비 뛰어난 성능을 기록한다.
• 근접 이웃 검색을 단순한 벡터 룩업으로 대체함으로써, 기준 밀도 높은 임베딩 모델 대비 최대 10배의 빠른 추론 속도를 제공한다.
• GPU 간 통신 없이도 다중 GPU에서 500K차원 임베딩을 성공적으로 훈련시켜 확장 가능한 훈련을 가능하게 한다.
• 이론적 분석을 통해 제안된 프레임워크 하에 고정된, 희박하고 거의 직교적인 레이블 벡터를 사용한 단방향 학습이 전체 공동 훈련과 동일한 결과를 낳음을 확인한다.