[論文レビュー] Learning K-way D-dimensional Discrete Code For Compact Embedding Representations

Ting Chen, Martin Renqiang Min+1 more|arXiv (Cornell University)|Nov 8, 2017

Topic Modeling参考文献 28被引用数 11

ひとこと要約

本稿では、従来の one-hot 編集に代わる K パラメータの D 次元離散コード体系である KD 編集を提案する。これにより、パrameter の線形的増加から対数的増加に変更され、意味的に意味のある離散コードを緩和された確率的勾配降下法により学習することで、言語モデリングにおいてパラメータを 97% 減少させつつ、性能を維持または向上させることができる。

ABSTRACT

Embedding methods such as word embedding have become pillars for many applications containing discrete structures. Conventional embedding methods directly associate each symbol with a continuous embedding vector, which is equivalent to applying linear transformation based on "one-hot" encoding of the discrete symbols. Despite its simplicity, such approach yields number of parameters that grows linearly with the vocabulary size and can lead to overfitting. In this work we propose a much more compact K-way D-dimensional discrete encoding scheme to replace the "one-hot" encoding. In "KD encoding", each symbol is represented by a $D$-dimensional code, and each of its dimension has a cardinality of $K$. The final symbol embedding vector can be generated by composing the code embedding vectors. To learn the semantically meaningful code, we derive a relaxed discrete optimization technique based on stochastic gradient descent. By adopting the new coding system, the efficiency of parameterization can be significantly improved (from linear to logarithmic), and this can also mitigate the over-fitting problem. In our experiments with language modeling, the number of embedding parameters can be reduced by 97\% while achieving similar or better performance.

研究の動機と目的

• 従来の one-hot 編集に基づく埋め込み手法における線形的パラメータ増加を解決し、スケーラビリティの向上と過学習リスクの低減を図ること。
• 意味的表現力を保ちながら、モデルのパラメータを削減するよりコンactなコーディング方式の開発。
• 離散最適化の微分可能緩和を用いて、データから意味的に意味のある離散コードを学習すること。
• モバイルプラットフォームなどのメモリ制約のあるデバイスへの大規模埋め込みモデルのデプロイを可能にすること。
• one-hot 編集の近似ゼロの効率性を、高い利用効率を持つ離散コードシステムに置き換えることで、コード空間の利用効率を向上させること。

提案手法

• KD 編集の提案：各記号は D 次元のコードで表され、各次元に K 個の可能な値を持つ。これにより、K^D のコード空間が形成される。
• 微分可能変換関数 f(·) を用いて、個々のコード次元の学習済み埋め込みを合成することで、記号埋め込みを生成する。
• 直線的推定器（STE）と温度スケジューリングを用いた確率的勾配降下法に基づく緩和された離散最適化技術を用い、離散コードを介してバックプロパゲーションを実行する。
• エンド・ツー・エンド学習によりコードマッピング関数 φ(s) を訓練し、高速な照合を可能にするハッシュテーブルとして保存する。
• パラメータ数を O(Nd) から O((K/log K)d′log N + C) に削減し、語彙サイズに応じて対数的スケーリングを達成する。
• 訓練の安定化と離散コード学習の収束改善のため、温度アニーリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 K パラメータの D 次元離散コード体系は、パラメータ数を著しく削減しながらも、性能を維持できるか？
• RQ2 K と D の選択が、学習済み埋め込みの質やコードの意味的特性に与える影響は何か？
• RQ3 離散最適化の微分可能緩和は、データから意味的で一貫性のあるコードを効果的に学習できるか？
• RQ4 KD 編集は、リソースが限られた環境や語彙が長尾分布を示す状況において、過学習を緩和できるか？
• RQ5 緩和された最適化プロセスにおける温度スケジューリングは、コードの安定性と収束性にどのように影響するか？

主な発見

• 提案された KD 編集により、言語モデリングタスクにおいて埋め込みパラメータ数を 97% 削減しながら、標準 one-hot 編集と同等または優れた性能を達成した。
• K=6 かつ D=4 の場合、時間関連語（例：'week' と 'month'）のような意味的に類似した語が類似したコードに割り当てられることが確認された。
• 実験では、K や D の値が小さくても、K^D ≫ N であっても性能が劣化することが示され、コードの冗長性が学習に寄与することがわかった。
• 緩和された最適化プロセスにおける温度スケジューリングは、固定温度や連続的コード近似と比較して、収束性とコード割り当ての安定性が向上した。
• コード空間の利用効率が著しく向上した：N=10,000、K=2、D=100 の場合、one-hot 編集に比べてコード空間の効率が 2^9900 倍向上した。
• 学習済みコードマッピング関数 φ(s) は、合成データおよび実世界の GloVe 埋め込みデータのクラスタリング結果から、意味的類似性を効果的に捉えていることが示された。