[論文レビュー] Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies

Paul Pu Liang, Manzil Zaheer+2 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 78被引用数 4

ひとこと要約

この論文は、各離散的対象を少量の学習可能なアンカーベクトルのスパース線形結合として表現し、微分可能でエンドツーエンドで学習可能な変換行列を用いることで、大規模語彙用にスパースな埋め込みを学習する方法であるANCHOR & TRANSFORM (ANT)を提案する。ANTは、テキスト分類、言語モデル作成、レコメンデーションタスクにおいて、ベースラインを上回る性能を示しながら最大40倍のパラメータ圧縮を達成する。また、ベイジアン拡張（NBANT）により、ハイパーパramータのチューニングなしにアンカー数を自動でチューニングする。

ABSTRACT

Learning continuous representations of discrete objects such as text, users, movies, and URLs lies at the heart of many applications including language and user modeling. When using discrete objects as input to neural networks, we often ignore the underlying structures (e.g., natural groupings and similarities) and embed the objects independently into individual vectors. As a result, existing methods do not scale to large vocabulary sizes. In this paper, we design a simple and efficient embedding algorithm that learns a small set of anchor embeddings and a sparse transformation matrix. We call our method Anchor & Transform (ANT) as the embeddings of discrete objects are a sparse linear combination of the anchors, weighted according to the transformation matrix. ANT is scalable, flexible, and end-to-end trainable. We further provide a statistical interpretation of our algorithm as a Bayesian nonparametric prior for embeddings that encourages sparsity and leverages natural groupings among objects. By deriving an approximate inference algorithm based on Small Variance Asymptotics, we obtain a natural extension that automatically learns the optimal number of anchors instead of having to tune it as a hyperparameter. On text classification, language modeling, and movie recommendation benchmarks, we show that ANT is particularly suitable for large vocabulary sizes and demonstrates stronger performance with fewer parameters (up to 40x compression) as compared to existing compression baselines.

研究の動機と目的

• 大語彙設定における完全な埋め込み行列のスケーラビリティと非効率性に対処する。ここではパラメータがモデルサイズの最大80％を占めることがある。
• 標準的な独立埋め込み手法が無視する、自然なグループ化や類似性といった離散的対象（例：単語、ユーザー）の背後にある構造を活用する。
• 複数のトレーニング段階や後処理を必要とせず、微分可能でエンドツーエンドで学習可能な、スパースで相関のある表現を学習する方法を開発する。
• スパース埋め込みに統計的基盤を提供するため、ベイジアン非パラメトリック事前分布を導入し、最適なアンカー数の自動選択を可能にする。

提案手法

• ANTは、各対象の埋め込みを少量の学習済みアンカーベクトルのスパース線形結合として表現し、変換行列Tをスパースかつ微分可能であるようにする。
• 微分可能な目的関数を用いて、アンカーベクトルAとスパース変換行列Tをエンドツーエンドで同時に最適化する。
• 統計的解釈により、ANTはインド・バッファ・プロセス（IBP）事前分布として定式化され、ベイジアン非パラメトリック拡張（NBANT）を可能にし、アンカー数の自動学習を実現する。
• 小さな分散漸近法（SVA）を用いて近似推論アルゴリズムを導出し、NBANTにおける自動アンカー数選択を実現する。
• 目的関数は予測損失、Tのスパarsity（∥T∥0）、およびアンカー数Kをハイパーパramータλ1とλ2でバランスさせる。
• NBANTはANTをオンライン学習に拡張し、新しいデータバッチが到着するたびにアンカー数を動的に調整することで、大規模データセットにおけるメモリ効率の良いトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースで微分可能かつエンドツーエンドで学習可能な手法は、パrameter数を顕著に削減しつつ、大語彙用に高品質な埋め込みを学習できるか？
• RQ2 独立なベクトル割り当てに依存せずに、離散的対象同士の構造的関係（例：グループ化、類似性）を埋め込み学習で活用できるか？
• RQ3 ベイジアン非パラメトリック事前分布を深層ニューラルネットワークに効果的に統合し、スパース埋め込みフレームワークにおける最適なアンカー数を自動で決定できるか？
• RQ4 提案手法は、既存の圧縮ベースラインと比較して、モデル効率性および下流タスクの予測性能の両面で優れているか？
• RQ5 データがバッチ形式で到着するオンライン学習環境において、アンカー数を動的に適応させることが可能か？

主な発見

• ANTは、テキスト分類および言語モデル作成ベンチマークで最大40倍のパラメータ圧縮を達成しながら、完全な埋め込み行列や既存の圧縮ベースラインと比較して性能を維持または上回る。
• PTB言語モデル作成タスクでは、200個のアンカーと24.5万非ゼロパラメータを用いたANTが、21.4万非ゼロパラメータの完全な1,000埋め込みベースライン（ perplexity 77.7）を上回る性能を示した。
• NBANT拡張は最適なアンカー数を自動で学習する：MovieLens 1Mでは、8つのユーザーおよび8つのアイテムアンカーに収束し、オフライン版と同等の性能を達成した。
• オンライン設定では、NBANTがデータ到着に応じてアンカー数を10から26に増加させ、その後8〜10に減少させ、新たなデータ構造への頑健な適応を示した。
• λ1のチューニングにより効果的なモデル選択が可能だった：λ1 = 2×10⁻⁵では1,000アンカーのモデル（perplexity 79.4）が選択され、λ1 = 1×10⁻¹では100アンカーのモデル（perplexity 106.6）が選択された。性能と圧縮のトレードオフを制御できることが示された。
• MovieLens 25Mでは、NBANTが目的関数を効率的に最適化し、3次元可視化とグリッドサーチ比較により、グローバル最適解に近い解に到達したことが確認された。