[論文レビュー] SOLAR: Sparse Orthogonal Learned and Random Embeddings

Tharun Medini, Beidi Chen+1 more|arXiv (Cornell University)|May 3, 2021

Text and Document Classification Technologies参考文献 34被引用数 6

ひとこと要約

本稿では、500K次元に達する超高スパースで高次元の埋め込み表現を訓練するためのSOLARという手法を提案する。この手法は、高価な近似近傍検索を高速な参照に置き換える。ランダムでスパースかつほぼ直交するラベルベクトルと学習されたスパースなクエリベクトルを用いることで、本手法は本物の書籍検索およびマルチラベル分類タスクにおいて、最先端の精度と再現率を達成し、推論速度が最大10倍速くなる。さらに、新規な分割方式により通信フリーのマルチGPU訓練を可能にする。

ABSTRACT

Dense embedding models are commonly deployed in commercial search engines, wherein all the document vectors are pre-computed, and near-neighbor search (NNS) is performed with the query vector to find relevant documents. However, the bottleneck of indexing a large number of dense vectors and performing an NNS hurts the query time and accuracy of these models. In this paper, we argue that high-dimensional and ultra-sparse embedding is a significantly superior alternative to dense low-dimensional embedding for both query efficiency and accuracy. Extreme sparsity eliminates the need for NNS by replacing them with simple lookups, while its high dimensionality ensures that the embeddings are informative even when sparse. However, learning extremely high dimensional embeddings leads to blow up in the model size. To make the training feasible, we propose a partitioning algorithm that learns such high dimensional embeddings across multiple GPUs without any communication. This is facilitated by our novel asymmetric mixture of Sparse, Orthogonal, Learned and Random (SOLAR) Embeddings. The label vectors are random, sparse, and near-orthogonal by design, while the query vectors are learned and sparse. We theoretically prove that our way of one-sided learning is equivalent to learning both query and label embeddings. With these unique properties, we can successfully train 500K dimensional SOLAR embeddings for the tasks of searching through 1.6M books and multi-label classification on the three largest public datasets. We achieve superior precision and recall compared to the respective state-of-the-art baselines for each task with up to 10 times faster speed.

研究の動機と目的

• 商用検索エンジンで使用される密度型埋め込みモデルにおけるクエリ時間と精度のボトル neck を解消すること。
• 極めてスパースな高次元埋め込み表現が、高価な近似近傍検索を効率的な参照に置き換えることができるか、かつモデルの情報量を保持できるかを検討すること。
• 複数のGPU間での通信オーバーヘッドなしに、500K次元の埋め込み表現をスケーラブルに訓練できる訓練手法を設計すること。
• 最先端の密度型埋め込みモデルと比較して、より優れた検索および分類性能を達成すること。

提案手法

• SOLARフレームワークを導入：スパースで直交する、学習済みおよびランダムな埋め込みの混合であり、ラベルベクトルはランダムでスパース、クエリベクトルは学習される。
• 新規な非対称的片側学習戦略を採用：クエリベクトルのみを学習し、ラベルベクトルは固定されたランダムでスパースかつほぼ直交するものとする。
• 理論的に、提案された設計のもとでは、片側学習がクエリとラベルの両方の埋め込みを同時に学習するのと同等であることを証明する。
• 埋め込み空間をGPU間で分散することで、複数GPUにおける通信フリーな高次元埋め込み表現の訓練を可能にする分割アルゴリズムを設計する。
• 学習済みクエリベクトルと固定されたランダムなラベルベクトル間の類似度を最適化する損失関数を用いることで、効率的かつスケーラブルな訓練を実現する。
• ランダムでスパースなラベルベクトルのほぼ直交性を活用し、極めてスパースな状態でも高い表現力が維持されることを確保する。

実験結果

リサーチクエスチョン

• RQ1 超高スパースで高次元の埋め込み表現は、効率性と精度を向上させながら、検索および分類タスクにおいて密度型埋め込み表現に置き換え可能か？
• RQ2 クエリベクトルのみを学習し、ランダムでスパースかつほぼ直交するラベルベクトルを固定する片側学習は、両方の埋め込みを同時に学習するのと同等か？
• RQ3 複数のGPU間で通信なしに、500K次元の埋め込み表現を効率的に訓練可能か？
• RQ4 提案手法は、実世界の検索および分類タスクにおいて、最先端の密度型埋め込みモデルと比較して、精度、再現率、推論速度の面で優れた性能を示すか？

主な発見

• SOLARは160万冊の書籍を検索するタスクにおいて、既存の密度型埋め込みベースラインを上回る最先端の精度と再現率を達成した。
• 3つの最大規模の公開マルチラベル分類データセットにおいて、それぞれの最先端ベースラインを上回る優れた性能を示した。
• 近似近傍検索を単純なベクトル参照に置き換えることで、ベースラインの密度型埋め込みモデルと比較して最大10倍の高速な推論速度を達成した。
• 複数のGPU間で通信なしに500K次元の埋め込み表現を正常に訓練でき、スケーラブルな訓練を実現した。
• 理論的分析により、固定されたスパースでほぼ直交するラベルベクトルを用いた片側学習が、提案されたフレームワークのもとで完全な共同学習と同等であることが確認された。