[論文レビュー] Differentiable Product Quantization for End-to-End Embedding Compression

Ting Chen, Lala Li+1 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Data Compression Techniques参考文献 24被引用数 14

ひとこと要約

本稿では、連続的な埋め込みベクトルを学習することで離散的プロダクト量子化コードを生成する、エンド・ツー・エンドで学習可能な新しいフレームワークである微分可能プロダクト量子化（DPQ）を提案する。プロダクト量子化を微分可能にすることで、10の言語データセットで14–238倍の圧縮比を達成し、性能低下がほぼゼロに抑えられ、蒸留を伴わない手法に比べて効率性と圧縮性能に優れる。

ABSTRACT

Embedding layers are commonly used to map discrete symbols into continuous embedding vectors that reflect their semantic meanings. Despite their effectiveness, the number of parameters in an embedding layer increases linearly with the number of symbols and poses a critical challenge on memory and storage constraints. In this work, we propose a generic and end-to-end learnable compression framework termed differentiable product quantization (DPQ). We present two instantiations of DPQ that leverage different approximation techniques to enable differentiability in end-to-end learning. Our method can readily serve as a drop-in alternative for any existing embedding layer. Empirically, DPQ offers significant compression ratios (14-238$ imes$) at negligible or no performance cost on 10 datasets across three different language tasks.

研究の動機と目的

• ニューラルネットワークの大きな埋め込みテーブルのメモリおよびストレージコストの高さ、特にNLPおよびレコメンデーションシステムにおける課題に対処すること。
• 固定または非微分可能な離散的コードを用いる従来手法の制限を克服し、蒸留を伴う二段階学習を必要としないこと。
• 性能劣化を伴わずに、埋め込みベクトルのためのコン act 離散的コードを学習できる汎用的でエンド・ツー・エンドの微分可能なフレームワークを開発すること。
• モデルの精度を維持しつつ、完全な埋め込みテーブルを量子化済みコードに置き換えることで、推論および学習の効率を向上させること。

提案手法

• 連続的な埋め込みベクトルを離散的コードにマッピングする微分可能プロダクト量子化（DPQ）フレームワークを提案し、微分可能離散化関数 φ(·) と逆離散化関数 ρ(·) を用いる。
• 勾配の流れを離散的コードを通じて可能にするために、ストレートスラッシュ勾配推定とソフト代入を用いたベクトル量子化の二つの近似手法（DPQ-SX および DPQ-VQ）を導入する。
• プロダクト量子化（PQ）を用いて、埋め込み空間を D 個の直交する部分空間に分割し、各部分空間に K 個の重心を割り当てることで、D 次元のインデックスベクトルとしてコンパクトなコード表現を可能にする。
• 量子化プロセスを逆伝播可能にすることで、モデル全体をエンド・ツー・エンドで学習し、最終的なタスク性能を最適化するために重心とコードを同時に最適化可能にする。
• 標準的な埋め込み層の代替として、DPQモジュールをドロップインで置き換えることで、同じ入出力挙動を維持しつつ、パrameter数を著しく削減する。
• 硬い離散化を連続的リラクゼーションで近似することで微分可能にし、確率的サンプリングを伴わずにバックプロパゲーション中に勾配が流れることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 プロダクト量子化を微分可能にすることで、離散的埋め込みコードのエンド・ツー・エンド学習を可能にすることができるか？
• RQ2 コードサイズ K とコード長 D の選択が、圧縮比とモデル性能に与える影響は何か？
• RQ3 DPQは、非微分可能または二段階手法と比較して、性能劣化を伴わず高い圧縮比を達成できるか？
• RQ4 標準的な埋め込み層と比較して、DPQの学習および推論における計算オーバーヘッドはどの程度か？
• RQ5 DPQは、従来の手法で必要とされる蒸留または事前学習段階を排除できるか？

主な発見

• DPQは10の多様なNLPデータセットで、完全精度の埋め込み層と比較して、性能低下が著しくないか、あるいはない状態で14–238倍の圧縮比を達成した。
• K が小さい（例：K=2）で D が大きい（例：D=128）組み合わせが、K が大きく D が小さい場合よりも、より優れた性能と圧縮を実現した。これは、量子化精度の向上に起因する。
• DPQを用いた学習では、平均して学習時間が10%増加するにとどまり、追加のメモリ使用量はゼロで、推論にオーバーヘッドがない。
• K や D が大きい場合、DPQ-VQ は DPQ-SX よりも優れた計算効率を示した。これは、最適化されたベクトル量子化演算のおかげである。
• DPQは、蒸留や二段階学習の必要性を排除し、優れた収束性と安定性を示す単一段階のエンド・ツー・エンド学習を可能にした。
• BERT事前学習における実験的結果から、DPQは埋め込み層の顕著な圧縮を実現しながらも、競争力ある性能を維持することが確認された。