[論文レビュー] Compressing Word Embeddings via Deep Compositional Code Learning

Raphael Shu, Hideki Nakayama|arXiv (Cornell University)|Nov 3, 2017

Topic Modeling参考文献 31被引用数 29

ひとこと要約

本稿では、Gumbel-softmaxを用いた微分可能訓練により、各単語を少数の学習済み基本ベクトルの組み合わせとして表現する、深層構成的コード学習を提案する。この手法により、感情分析では最大98%、機械翻訳では94–99%の圧縮が達成され、性能に損失なしに、言語に依存しない、アーキテクチャに依存しないモデル圧縮が可能となる。

ABSTRACT

Natural language processing (NLP) models often require a massive number of parameters for word embeddings, resulting in a large storage or memory footprint. Deploying neural NLP models to mobile devices requires compressing the word embeddings without any significant sacrifices in performance. For this purpose, we propose to construct the embeddings with few basis vectors. For each word, the composition of basis vectors is determined by a hash code. To maximize the compression rate, we adopt the multi-codebook quantization approach instead of binary coding scheme. Each code is composed of multiple discrete numbers, such as (3, 2, 1, 8), where the value of each component is limited to a fixed range. We propose to directly learn the discrete codes in an end-to-end neural network by applying the Gumbel-softmax trick. Experiments show the compression rate achieves 98% in a sentiment analysis task and 94% ~ 99% in machine translation tasks without performance loss. In both tasks, the proposed method can improve the model performance by slightly lowering the compression rate. Compared to other approaches such as character-level segmentation, the proposed method is language-independent and does not require modifications to the network architecture.

研究の動機と目的

• ニューラルNLPモデルのメモリおよびストレージ容量を、性能を損なわず単語埋め込みを圧縮することにより削減する。
• 意味的に類似する単語が個別のベクトルで表現される標準的な単語埋め込みにおける冗長性を解消する。
• 言語に依存せず、既存モデルのアーキテクチャを変更しない方法を開発する。
• Gumbel-softmaxのテクニックを用いて、離散的なハッシュコードのエンドツーエンド学習を可能にする。
• マルチコードブック量子化と類似単語間のコード共有を通じて、意味的忠実性を保ちながら圧縮効率を最大化する。

提案手法

• 各単語を $ C_w = (C_w^1, C_w^2, ..., C_w^M) $ のコードとして表現し、各成分がコードブック $ E_i $ から語彙を選び出す。
• 最終的な埋め込みを合計として構築：$ E(C_w) = \sum_{i=1}^M E_i(C_w^i) $、これにより $ |V| $ 個の固有ベクトルではなく $ M \times K $ 個の基本ベクトルを用いる。
• 二値符号化よりも高い圧縮を実現するため、離散整数コード（例：$ (3,2,1,8) $）を用いたマルチコードブック量子化を適用する。
• 訓練中に離散コードを経由するバックプロパゲーションを可能にするために、Gumbel-softmaxトリックを適用する。
• 再構成誤差を最小化することでコードおよびコードブックのパラメータを最適化：$ \frac{1}{|V|} \sum_w || \sum_i E_i(C_w^i) - \tilde{E}(w) ||^2 $。
• 意味的品質を保持しつつパrameter数を著しく削減するため、事前学習済み埋め込み（例：GloVe）から直接コードを学習する。

実験結果

リサーチクエスチョン

• RQ1 パrameter数を95%以上削減しても性能に劣化がないか？
• RQ2 離散的で学習可能なコードが、'dog' と 'dogs' のような単語間の意味的類似性を効果的に捉えられるか？
• RQ3 提案手法が感情分析や機械翻訳など多様なNLPタスクで性能を維持できるか？
• RQ4 コードの利用効率はどの程度か？すべての語彙が意味的に割り当てられているか、あるいは一部のコードが無駄になっているか？
• RQ5 アーキテクチャの変更なしに、言語やモデルにかかわらず普遍的に適用可能か？

主な発見

• IMDB感情分析タスクでは98%の圧縮が達成され、性能に低下なしに、$32\times16$コードでBLEUスコア29.04を維持した。
• 機械翻訳では94–99%の圧縮が達成され、性能損失は最小限で、例としてDe→Enで98%圧縮時、BLEUスコアは29.04（ベースライン29.45）であった。
• 高い圧縮率であっても、圧縮率をわずかに緩和することで性能がわずかに向上する傾向が示され、トレードオフ最適化の余地があることが示された。
• 定性的な分析から、意味的に類似する単語（例：'dog', 'dogs', 'cat'）はハミング距離空間で近いコードが割り当てられていることがわかった。
• コードの利用効率は高く、最も使われないコードでさえ1,000語以上に割り当てられており、顕著なコードの無駄は見られなかった。
• 本手法は言語に依存せず、ネットワークアーキテクチャの変更なしに適用可能であり、モバイル機器やリソースが限られたデバイスへの広範な展開が可能である。