[論文レビュー] Deep Hash Embedding for Large-Vocab Categorical Feature Representations.

Wang-Cheng Kang, Derek Zhiyuan Cheng+5 more|arXiv (Cornell University)|Oct 21, 2020

Caching and Content Delivery参考文献 50被引用数 4

ひとこと要約

本稿では、決定論的で1-Hotでないハッシュ符号化を用いて、オンザフライで埋め込みを生成する、衝突なし・保存不要なフレームワークであるDeep Hash Embedding (DHE) を提案する。DHEは、大規模語彙のカテゴリカル特徴量において、顕著に小型なモデルサイズと1-Hot符号化と同等のAUC性能を達成する。

ABSTRACT

Embedding learning for large-vocabulary categorical features (e.g. user/item IDs, and words) is crucial for deep learning, and especially neural models for recommendation systems and natural language understanding tasks. Typically, the model creates a huge embedding table that each row represents a dedicated embedding vector for every feature value. In practice, to handle new (i.e., out-of-vocab) feature values and reduce the storage cost, the hashing trick is often adopted, that randomly maps feature values to a smaller number of hashing buckets. Essentially, thess embedding methods can be viewed as 1-layer wide neural networks with one-hot encodings. In this paper, we propose an alternative embedding framework Deep Hash Embedding (DHE), with non-one-hot encodings and a deep neural network (embedding network) to compute embeddings on the fly without having to store them. DHE first encodes the feature value to a dense vector with multiple hashing functions and then applies a DNN to generate the embedding. DHE is collision-free as the dense hashing encodings are unique identifiers for both in-vocab and out-of-vocab feature values. The encoding module is deterministic, non-learnable, and free of storage, while the embedding network is updated during the training time to memorize embedding information. Empirical results show that DHE outperforms state-of-the-art hashing-based embedding learning algorithms, and achieves comparable AUC against the standard one-hot encoding, with significantly smaller model sizes. Our work sheds light on design of DNN-based alternative embedding schemes for categorical features without using embedding table lookup.

研究の動機と目的

• 大語彙カテゴリカル特徴量の従来の埋め込みテーブルにおける高コストな保存領域とOOV（語彙外）問題に対処すること。
• 大規模な埋め込みテーブルの保存を不要としつつ、高いモデル性能を維持すること。
• 埋め込みテーブルを用いずに、深層学習とハッシュ化を用いて動的に埋め込みを生成するフレームワークを設計すること。
• 埋め込みテーブルの保存を避けつつ、1-Hot符号化と同等の性能を達成し、モデルサイズを著しく削減すること。

提案手法

• DHEは複数のハッシュ関数を用いて、特徴値を一意な密ベクトルに符号化し、1-Hotでない識別子として機能させる。
• これらの密なハッシュ符号化は、学習中に最終的な埋め込みを生成する学習可能な深層ニューラルネットワーク（埋め込みネットワーク）に供給される。
• 符号化モジュールは決定論的かつ学習不可であり、語彙内・語彙外の両値に対して衝突のない表現を保証する。
• 埋め込みネットワークはエンドツーエンドで訓練され、ハッシュ符号化入力をもとに正確な埋め込みを記憶・生成する。
• 埋め込みテーブルの保存を回避し、オンザフライで埋め込みを計算することで、メモリ使用量を削減する。
• 本手法は、特に推薦システムやNLPシステムにおける既存の深層学習モデルと互換性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ハッシュベースのフレームワークは、大規模な埋め込みテーブルを保存せずに性能を維持しながら埋め込みを生成できるか？
• RQ2 決定論的ハッシュ符号化に基づく深層ニューラルネットワークは、標準の1-Hotまたはハッシュベースのベースラインと比較して、精度と効率性においてどのように差をつけるか？
• RQ3 提案手法は、語彙外の特徴値に対しても性能の低下なしに効果的に処理できるか？
• RQ4 本手法を用いることで、予測性能を損なわず、どの程度モデルサイズを削減できるか？

主な発見

• DHEは、埋め込みテーブルの保存が一切ないにもかかわらず、標準の1-Hot符号化と同等のAUC性能を達成しており、優れた表現品質を示している。
• DHEは、従来の埋め込みテーブルおよびハッシュベースのベースラインと比較して、顕著にモデルサイズを削減している。
• フレームワークは衝突なしであり、語彙内・語彙外のすべての特徴値に対して一意な表現を保証している。
• 実験的結果から、DHEはベンチマークタスクにおいて、最先端のハッシュベースの埋め込み学習アルゴリズムを上回っている。
• 決定論的で学習不可の符号化モジュールにより、ルックアップのオーバーヘッドなしに効率的かつスケーラブルな埋め込み生成が可能である。
• 埋め込みネットワークのエンドツーエンド訓練により、事前計算されたテーブルがなくても、埋め込み情報の効果的な記憶が可能である。