[論文レビュー] Swivel: Improving Embeddings by Noticing What's Missing

Noam Shazeer, Ryan Doherty+2 more|arXiv (Cornell University)|Feb 6, 2016

Advanced Graph Neural Networks参考文献 13被引用数 56

ひとこと要約

Swivel は、共起行列から導かれる点々相互情報量（PMI）行列の近似的な因数分解を実行することにより、低次元の特徴埋め込みをスケーラブルかつ分散的に学習する手法である。未観測の共起をソフトハードヒンジ損失を用いて明示的にモデル化する区分的損失関数を採用しており、珍しい特徴の性能を向上させつつも、一般的な特徴の精度を維持できる。また、分散ワーカー間でベクトル化された計算とシャーディングされた行列処理を用いることで、効率的なスケーリングが可能である。

ABSTRACT

We present Submatrix-wise Vector Embedding Learner (Swivel), a method for generating low-dimensional feature embeddings from a feature co-occurrence matrix. Swivel performs approximate factorization of the point-wise mutual information matrix via stochastic gradient descent. It uses a piecewise loss with special handling for unobserved co-occurrences, and thus makes use of all the information in the matrix. While this requires computation proportional to the size of the entire matrix, we make use of vectorized multiplication to process thousands of rows and columns at once to compute millions of predicted values. Furthermore, we partition the matrix into shards in order to parallelize the computation across many nodes. This approach results in more accurate embeddings than can be achieved with methods that consider only observed co-occurrences, and can scale to much larger corpora than can be handled with sampling methods.

研究の動機と目的

• 観測済みおよび未観測の共起を捉えることのできる、大規模な共起行列から高品質な特徴埋め込みを学習するスケーラブルな手法を開発すること。
• GloVe や SGNS といった従来手法の限界、すなわち未観測共起を無視するか、コーパスサイズに伴いスケーリングが著しく劣る問題を解決すること。
• 頻度の低い特徴の埋め込み品質を向上させつつも、頻度の高い特徴の性能を低下させないこと。
• ベクトル化された演算とシャーディングを用いて、大規模な共起行列上で効率的な分散学習を可能にすること。

提案手法

• Swivel は、特徴の共起行列から導かれる点々相互情報量（PMI）行列の因数分解を近似的に実行するため、確率的勾配降下法を用いる。
• 観測済みの共起（頻度加重誤差）と未観測の共起（PMIの過大評価を防ぐためにソフトハードヒンジ損失を用いる）を区別する区分的損失関数を採用する。
• 単語と文脈の埋め込みの内積を、真の PMI 値の近似としてモデル化する：$ w_i^ op \tilde{w}_j \approx \text{pmi}(i;j) = \log x_{ij} + \log|D| - \log x_{i*} - \log x_{*j} $。
• 効率的なスケーリングを実現するため、共起行列をシャーディングされた部分行列に分割し、複数のワーカーノードで並列処理を可能にする。
• GPU の加速を活用して、数百万個の予測された PMI 値を同時に計算するため、ベクトル化された行列乗算が用いられる。
• ブロック構造によりパラメータ転送コストを均等化し、分散学習環境における競合を低減する。

実験結果

リサーチクエスチョン

• RQ1 未観測の共起を明示的にモデル化する手法は、それらを無視する手法よりも優れた埋め込みを生み出せるか？
• RQ2 未観測共起情報の組み込みが、頻度の高い特徴と低い特徴の両方の性能に与える影響は何か？
• RQ3 SGNS や他のサンプリングベースの手法と比較して、カウントベースの手法（例：Swivel）はより大きなコーパスにスケーリングできるか？
• RQ4 観測済みおよび未観測の共起を別々に扱う区分的損失関数は、より安定的かつ正確な埋め込みをもたらすか？
• RQ5 ベクトル化およびシャーディングされた計算は、大規模な共起行列上で効果的にスケーラブルな学習を可能にするか？

主な発見

• Swivel は、特に珍しい語において、アナロジー推論タスクで SGNS や GloVe を上回る性能を示し、すべての頻度バケットで顕著な精度向上を達成した。
• 最も頻出する語では、すべてのモデルが性能を発揮できないが、これは多義語性や文脈の多様性に起因すると考えられ、Swivel は劣化を示さずに一貫した性能を維持した。
• GloVe は珍しい語では SGNS よりも性能が劣るが、これは一般的な語の適合を優先し、珍しい語の性能を犠牲にしている可能性を示唆している。一方、Swivel はこのトレードオフを回避した。
• Swivel の性能は語の頻度にかかわらず安定しており、特に低頻度領域において SGNS や GloVe よりも一貫した改善を示した。
• スケーリングは効率的である：1枚の GPU を用いて、1024次元の埋め込みに対して、1秒間に約2億個の PMI 値をベクトル化された行列乗算で推定可能である。
• Swivel は数百台のワーカーマシンで効果的に並列化され、シャーディングとパラメータ転送コストの均等化のおかげで、分散環境における強力なスケーラビリティを示した。