[論文レビュー] word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement

Aliakbar Panahi, Seyran Saeedi+1 more|arXiv (Cornell University)|Nov 12, 2019

Quantum Computing Algorithms and Architecture被引用数 10

ひとこと要約

本論文では、量子テンソル積空間にインspiredされた、記憶領域を大幅に削減する空間効率の良い単語埋め込み手法である word2ket および word2ketXS を提案する。この手法により、精度の損失を最小限に抑えつつ、埋め込みのストレージを最大で100,000倍まで削減できる。単語埋め込みをより小さなベクトルの低ランクテンソル積として表現することで、学習および推論時のメモリ消費を著しく削減しつつ、自然言語処理タスクで高いパフォーマンスを維持できる。

ABSTRACT

Deep learning natural language processing models often use vector word embeddings, such as word2vec or GloVe, to represent words. A discrete sequence of words can be much more easily integrated with downstream neural layers if it is represented as a sequence of continuous vectors. Also, semantic relationships between words, learned from a text corpus, can be encoded in the relative configurations of the embedding vectors. However, storing and accessing embedding vectors for all words in a dictionary requires large amount of space, and may stain systems with limited GPU memory. Here, we used approaches inspired by quantum computing to propose two related methods, {\\em word2ket} and {\\em word2ketXS}, for storing word embedding matrix during training and inference in a highly efficient way. Our approach achieves a hundred-fold or more reduction in the space required to store the embeddings with almost no relative drop in accuracy in practical natural language processing tasks.

研究の動機と目的

• ディープラーニング自然言語処理モデルにおける大規模な単語埋め込み行列の高いメモリ使用量を解決すること。
• 顕著な精度の低下を伴わずに、単語埋め込みのストレージおよびGPUメモリ要件を削減すること。
• 密な埋め込み行列を効率的に圧縮するため、量子にインspiredされたテンソル積表現を検討すること。
• 埋め込み行列のサイズを最小限に抑えることで、リソース制限のあるハードウェアでも効率的な学習と推論を可能にすること。
• 複数の自然言語処理ベンチマークを通じて、メモリ節約とモデルパフォーマンスのトレードオフを評価すること。

提案手法

• 量子にインspiredされたヒルベルト空間構成を用いて、$d \times p$ の全単語埋め込み行列をより小さな低ランクの成分ベクトルのテンソル積として表現する。
• ランク1およびランク2のテンソル分解（word2ket）を用い、1単語あたり$O(\log d)$のパラメータに埋め込みを圧縮する。
• より高い次元のテンソル分解（最大4次）を用いた word2ketXS を導入し、すべての単語埋め込みを同時に符号化することで、さらに高い圧縮を実現する。
• 全埋め込み行列を少数の小さな行列$F_{jk}$を用いて符号化し、パラメータ数を$d \times p$から$O(\log d)$に削減する。
• 学習および推論の両過程で、テンソル積分解を用いて元の埋め込み行列を近似する。
• テンソル積空間の構造を活用することで、単語間の意味的関係を維持しつつ、ストレージを著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 量子にインspiredされたテンソル積分解は、顕著な精度の損失を伴わずに、単語埋め込み行列の大幅なメモリ節約を達成できるか？
• RQ2 word2ket および word2ketXS を用いた自然言語処理モデルの性能は、複数のベンチマークで標準的な単語埋め込みと比較してどうなるか？
• RQ3 word2ketXS のテンソル次数を増加させた場合、圧縮比とモデル精度のトレードオフはどのように変化するか？
• RQ4 新しい埋め込み手法の計算オーバーヘッドは、標準的な学習および推論と比較してどの程度か？
• RQ5 本手法は、大規模な語彙サイズ（例：$d = 10^5$）に対してもスケーラブルであり、下流タスクにおける意味的整合性を維持できるか？

主な発見

• word2ketXS は、SQuAD データセットで F1 スコアの相対的低下が3%未満で、埋め込みストレージを最大で100,000倍に削減した。
• IMDB 感情分類タスクでは、埋め込みパラメータ数を1,000倍に削減しても、テスト精度はベースラインモデルと0.5%以内の差に留まった。
• SQuAD タスクでは、1000倍のストレージ削減でF1スコアが0.5ポイント低下したにとどまり、圧縮に対する強いロバストネスを示した。
• 1000倍のストレージ削減でF1スコアが0.5ポイント低下した。
• 大規模な語彙サイズでも高い圧縮効率を達成しており、4次テンソル分解により、ほぼ10^5倍の節約が可能となった。
• 本手法は、量子化、プルーニング、ビット符号化などの既存の圧縮技術よりも、ストレージ節約効率において優れている。