[論文レビュー] Tensorized Embedding Layers for Efficient Model Compression

Oleksii Hrinchuk, Valentin Khrulkov+3 more|arXiv (Cornell University)|Jan 30, 2019

Advanced Data Compression Techniques参考文献 64被引用数 50

ひとこと要約

この論文は TT–embedding を導入する。埋め込み層のパラメータを Tensor Train に基づく表現に置換し、標準モデル内でエンドツーエンドに訓練されながら、メモリ使用量を大幅に削減しつつ NLP タスクの性能を維持または向上させる。

ABSTRACT

The embedding layers transforming input words into real vectors are the key components of deep neural networks used in natural language processing. However, when the vocabulary is large, the corresponding weight matrices can be enormous, which precludes their deployment in a limited resource setting. We introduce a novel way of parametrizing embedding layers based on the Tensor Train (TT) decomposition, which allows compressing the model significantly at the cost of a negligible drop or even a slight gain in performance. We evaluate our method on a wide range of benchmarks in natural language processing and analyze the trade-off between performance and compression ratios for a wide range of architectures, from MLPs to LSTMs and Transformers.

研究の動機と目的

• 大規模なNLP語彙サイズにより、埋め込み層の圧縮を動機づける。
• 標準の埋め込み行列をテンソル化表現に置換する TT–embedding を提案する。
• NLPタスク全体で圧縮比と性能のトレードオフを分析する。
• 一般的なアーキテクチャ（MLP、LSTM、 Transformer）内で TT–embedding のエンドツーエンドの訓練可能性を実証する。
• 実務利用のための TT-形状と TT-ランクのハイパーパラメータ選択に関する指針を提供する。

提案手法

• 埋め込み行列を TT–マトリックスとして表現し、入力/出力の次元を N 個の因子に再形成して TT コアを学習する。
• 一連の演算で TT コアをスライス選択と行列乗算を介して縮約して語の埋め込みを計算する。
• 式(3)に従い、分散を制御するよう修正された Glorot様の初期化スキームで TT コアを初期化する。
• 標準レイヤ（LSTM、 Transformer など）とともにバックプロパゲーションで TT–embedding をエンドツーエンド訓練する。
• 任意で TT–embedding を低ランク分解および Tensor Ring の派生と比較する; 全秩表現性（定理1）に基づいて TT を正当化する。
• TT 形状とランクの選択に関する実用的な指針を提供し、汎化/正則化への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 TT–embedding は、タスクの性能を低下させずに埋め込み層の大幅な圧縮を実現できるか。
• RQ2 TT–embedding の圧縮比と精度のトレードオフは、低ランク分解と比較してどうか。
• RQ3 TT–embeddings は softmax ボトルネック設定で全表現性を維持し、ランク崩壊を回避するか。
• RQ4 TT-形状/ランクの選択が、NLP タスク全体の訓練効率と汎化に与える影響は。
• RQ5 TT–embedding は CTR 予測や言語モデリングのような大規模語彙タスクに有益か。

主な発見

• TT–embedding は substantial compression を達成（例: IMDB で 441×、WMT En-De で 15×、WikiText-103 で 3.8×）で、いくつかのタスクで同等または精度の向上を実現。
• CN 実験では、TT–embedding が圧縮-精度のトレードオフにおいて低ランク埋め込みを上回ることがある（感情分析、NMT、言語モデリング）。
• 手法は標準アーキテクチャ内でエンドツーエンド訓練のまま、既存パイプラインへの変更を最小限にして統合可能。
• 理論的分析は、ほぼすべての TT 設定で得られる埋め込み行列の全秩を保持することを示し、softmax ボトルネックの懸念を緩和。
• CTR 実験では、最大 2011× の圧縮と性能のほとんどの損失なし、総モデルサイズを 20 MB 未満に抑えられることを示す。