[論文レビュー] Learning K-way D-dimensional Discrete Codes for Compact Embedding Representations

Ting Chen, Martin Renqiang Min+1 more|arXiv (Cornell University)|Jun 21, 2018

Advanced Graph Neural Networks被引用数 40

ひとこと要約

KDエンコーディングは標準のワンホット埋め込みをK-way D-dimensional離散コードとコード組成ネットワークに置き換え、エンドツーエンドの学習を可能にし、埋め込みパラメータを大幅に削減しつつ、タスク性能を維持または向上させます。

ABSTRACT

Conventional embedding methods directly associate each symbol with a continuous embedding vector, which is equivalent to applying a linear transformation based on a "one-hot" encoding of the discrete symbols. Despite its simplicity, such approach yields the number of parameters that grows linearly with the vocabulary size and can lead to overfitting. In this work, we propose a much more compact K-way D-dimensional discrete encoding scheme to replace the "one-hot" encoding. In the proposed "KD encoding", each symbol is represented by a $D$-dimensional code with a cardinality of $K$, and the final symbol embedding vector is generated by composing the code embedding vectors. To end-to-end learn semantically meaningful codes, we derive a relaxed discrete optimization approach based on stochastic gradient descent, which can be generally applied to any differentiable computational graph with an embedding layer. In our experiments with various applications from natural language processing to graph convolutional networks, the total size of the embedding layer can be reduced up to 98\% while achieving similar or better performance.

研究の動機と目的

• 大規模語彙におけるパラメータ数の削減と過学習抑制のために、コンパクトな埋め込み表現を推進する。
• アルファベットサイズKのD次元コードで各シンボルを表現するKDエンコーディング方式を提案する。
• 離散コードとコード組成埋め込み関数を最適化するエンドツーエンドの学習フレームワークを開発する。
• NLPとグラフ畳み込みタスクにおけるパラメータ節約と性能の理論的・実証的分析を提供する。

提案手法

• 各シンボルを、各要素が {1,...,K} に属するK-way D-dimensionalコード c_i = (c_i^1, ..., c_i^D) で表現する。
• シンボルをコードに写像するコード割当関数 φ と、コードから埋め込みを生成する微分可能なコード組成関数 f を用いる。
• 各コード次元を専用のコード埋め込み行列 W^j ∈ R^{K×d'} で埋め込み、コード埋め込みベクトルからの変換 f_e（線形または非線形の可能性あり）を用いて最終的なシンボル埋め込みを組み立てる。
• 離散コードの連続緩和を tempered Softmax によって提供し、SGD ベースの学習を可能にする。推論時にはストレートスルー推定器を用いて離散コードを復元する。
• エントロピーに基づく正則化とガイダンス機構（オンライン蒸留ガイダンス、事前学習蒸留ガイダンス）を導入し、離散コードのエンドツーエンド学習を安定化させる。
• 線形KDコード組成を埋め込み行列の疎な2値低ランク因子分解に関連づけ、非線形組成が表現力を高めることを示す。）

実験結果

リサーチクエスチョン

• RQ1 K-way D次元離散コード方式がセマンティックに意味のあるシンボル埋め込みをエンドツーエンドで学習できるか？
• RQ2 KDエンコーディングを用いて、パフォーマンスを犠牲にせずに埋め込みパラメータ数と全体モデルサイズをどれだけ削減できるか？
• RQ3 ニューラルネットワークで離散コードを訓練するための効果的な戦略（例：連続緩和とガイダンス）とは何か？
• RQ4 KDエンコーディングは、NLPおよびグラフタスク全般で低ランク埋め込み因子分解や他のベースラインとどう比較されるか？

主な発見

• KDエンコーディングは、タスクをまたいで埋め込み層のサイズを最大95-98%削減しつつ、同等またはそれ以上の性能を達成できる。
• 連続緩和と蒸留ガイダンスを伴うエンドツーエンドのコード学習は、ナイーブまたはランダム/コード学習アプローチよりも顕著に性能を向上させる。
• 言語モデリングとテキスト分類の全体で、埋め込みパラメータとビット数を大幅に削減しつつ、困惑度/perplexityや精度が同等または向上する。
• グラフ畳み込みネットワークでは、KDエンコーディングは総パラメータと総ビット数を大幅に削減しつつ、競争力のある精度を提供する。
• 学習されたコードは意味的近傍構造を示し、妥当なKとDの選択の下で類似語が同じまたは近いコードにマッピングされる。