[論文レビュー] Distilled embedding: non-linear embedding factorization using knowledge distillation

Vasileios Lioutas, Ahmad Rashid+3 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 25被引用数 8

ひとこと要約

本稿では、知識蒸留を用いた低ランク行列分解を用いた非線形な単語埋め込み圧縮手法であるDistilled Embeddingを提案する。まず、因子分解された埋め込みを元の埋め込みを再構築するように事前学習し、その後、下流タスクにおける知識蒸留を用いて微調整することで、低ランク因子分解および最近の圧縮手法を上回る性能を達成する。特に機械翻訳において、高い圧縮率の状況で顕著な優位性を示す。

ABSTRACT

Word-embeddings are a vital component of Natural Language Processing (NLP) systems and have been extensively researched. Better representations of words have come at the cost of huge memory footprints, which has made deploying NLP models on edge-devices challenging due to memory limitations. Compressing embedding matrices without sacrificing model performance is essential for successful commercial edge deployment. In this paper, we propose Distilled Embedding, an (input/output) embedding compression method based on low-rank matrix decomposition with an added non-linearity. First, we initialize the weights of our decomposition by learning to reconstruct the full word-embedding and then fine-tune on the downstream task employing knowledge distillation on the factorized embedding. We conduct extensive experimentation with various compression rates on machine translation, using different data-sets with a shared word-embedding matrix for both embedding and vocabulary projection matrices. We show that the proposed technique outperforms conventional low-rank matrix factorization, and other recently proposed word-embedding matrix compression methods.

研究の動機と目的

• 自然言語処理モデルのエッジデバイスへのデプロイを妨げる単語埋め込み行列の高メモリ使用量という課題に対処すること。
• 従来の低ランク行列因子分解を改善し、非線形性と知識蒸留を導入することで、圧縮時のモデル性能を維持すること。
• 序列変換モデルにおける共有単語埋め込みおよびボキャブラリープロジェクション行列の効果的圧縮を可能にすること、性能の低下を伴わないこと。
• 提案手法が複数のデータセットおよび圧縮率において、既存の埋め込み圧縮技術を上回ることを実証すること。

提案手法

• 完全な単語埋め込み行列を低ランク行列分解により2つの小さな行列に因子分解し、表現能力を向上させるために非線形変換を導入する。
• 元の埋め込み行列と分解された行列の積との再構築誤差を最小化することで、因子分解された埋め込みを事前学習する。
• 下流タスクにおける知識蒸留を用いて圧縮された埋め込みを微調整し、学生モデル（因子分解された埋め込み）が教師モデル（完全な埋め込み）のログチットから学習する。
• 序列変換モデルにおいて、一貫性を保ちつつ冗長性を低減するために、共有埋め込みおよびプロジェクション行列の構成を採用する。
• 下流タスクにおける交差エントロピー損失を用いて、全体のパイプラインをエンドツーエンド最適化し、圧縮された埋め込みをタスク固有の表現に一致させる。
• 因子分解構造における非線形変換中に情報の流れを保つために、残差接続またはスキップ接続機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 非線形的低ランク因子分解に知識蒸留を組み合わせることで、標準的な低ランク因子分解を上回る性能が得られるか？
• RQ2 高い圧縮率において、提案手法が下流NLPタスクでの性能をどの程度維持できるか？
• RQ3 事前学習と知識蒸留の組み合わせが、機械翻訳における圧縮された埋め込みの一般化性能に与える影響はいかほどか？
• RQ4 序列変換モデルにおいて、入力と出力のプロジェクションに同じ埋め込み行列を共有した場合、性能が維持されるか？

主な発見

• 提案されたDistilled Embedding手法は、全テスト圧縮率において、従来の低ランク行列因子分解を上回る性能を達成する。
• 特に機械翻訳タスクにおいて、高い圧縮比での最近の単語埋め込み圧縮技術を上回る。
• 微調整段階における知識蒸留は、下流タスクにおける圧縮された埋め込みの一般化性能を顕著に向上させる。
• 序列変換モデルで入力と出力の両方のプロジェクションに同じ埋め込み行列を用いる場合でも、競争力ある性能を維持する。
• 完全な埋め込み再構築のための事前学習フェーズにより、因子分解モデルが元の埋め込み空間のより正確な近似を学習できる。
• 因子分解における非線形部は、単なる線形因子分解に比べて、より優れた表現学習に寄与する。