[論文レビュー] Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks

Joan Serrà, Alexandros Karatzoglou|arXiv (Cornell University)|Jun 13, 2017

Recommender Systems and Techniques参考文献 33被引用数 6

ひとこと要約

本稿では、深層レコメンデーションシステムにおけるスパースで高次元のバイナリ入出力の計算効率が高く、教師なしの圧縮技術「Bloom埋め込み（Bloom embeddings）」を提案する。ブルームフィルタの原理を活用することで、モデルサイズと学習時間を大幅に削減しつつ、精度の損失を最小限に抑え、一部のケースでは最大12%の精度向上を達成する。同時に、実行時における即時処理とメモリオーバーヘッドゼロを実現する。

ABSTRACT

Recommendation algorithms that incorporate techniques from deep learning are becoming increasingly popular. Due to the structure of the data coming from recommendation domains (i.e., one-hot-encoded vectors of item preferences), these algorithms tend to have large input and output dimensionalities that dominate their overall size. This makes them difficult to train, due to the limited memory of graphical processing units, and difficult to deploy on mobile devices with limited hardware. To address these difficulties, we propose Bloom embeddings, a compression technique that can be applied to the input and output of neural network models dealing with sparse high-dimensional binary-coded instances. Bloom embeddings are computationally efficient, and do not seriously compromise the accuracy of the model up to 1/5 compression ratios. In some cases, they even improve over the original accuracy, with relative increases up to 12%. We evaluate Bloom embeddings on 7 data sets and compare it against 4 alternative methods, obtaining favorable results. We also discuss a number of further advantages of Bloom embeddings, such as 'on-the-fly' constant-time operation, zero or marginal space requirements, training time speedups, or the fact that they do not require any change to the core model architecture or training configuration.

研究の動機と目的

• 高次元スパースバイナリ入出力に起因する深層レコメンデーションシステムにおける巨大なモデルサイズの課題に対処すること。
• アーキテクチャの変更を要せず、モデル精度を損なわず、メモリおよび学習のオーバーヘッドを削減すること。
• キャッシュまたは即時計算が可能な、効率的で定数時間の埋め込み操作を実現し、空間使用量を無視できるほどに抑えること。
• 推論時において順序の忠実性を保持し、元のアイテムに正確かつ可逆的にマッピングし直せるようにすること。
• リソース制限のあるデバイス（例：モバイルプラットフォーム）における学習速度の向上とモデルの展開可能性を向上させること。

提案手法

• 高次元のワンホットエンコードされた入出力ベクトルを、低次元のバイナリ埋め込みにブルームフィルタに基づく符号化で圧縮する。
• 各アイテムIDを固定サイズのバイナリベクトル（ブルームフィルタ）内の複数の位置にマッピングするために、k個の独立したハッシュ関数を用いる。
• 決定論的ハッシュを用いた即時埋め込み計算を可能にし、大規模な埋め込み行列の保存を不要にする。
• 標準ブルーム埋め込み（BE）と共起を考慮したブルーム埋め込み（CBE）の両方をサポートし、CBEではアイテムの共起統計に基づいてハッシュ関数を調整する。
• モデルのコア部分や損失関数を変更せず、入出力レイヤーの次元のみを変更することで、標準的なディープラーニングフレームワークとの互換性を維持する。
• 埋め込みベクトルのインデックスから元のアイテムIDに逆マッピングできるように、ルックアップテーブルを保存することで可逆性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ブルームフィルタに基づく埋め込みは、精度を損なわず、スパースバイナリ入出力を効果的に圧縮できるか？
• RQ2 精度と学習速度の観点から、既存の埋め込みおよび圧縮手法と比較して、Bloom埋め込みの性能はどの程度か？
• RQ3 アイテムの共起パターンを活用することで、共起を考慮したブルーム埋め込み（CBE）は、標準ブルーム埋め込み（BE）をどの程度上回るか？
• RQ4 Bloom埋め込みの使用により、特にモバイルや低リソースデバイスにおいて、学習時間とメモリ効率に顕著な改善が見られるか？
• RQ5 Bloom埋め込みは、コアモデルアーキテクチャや損失関数を変更せずに、多様な推薦タスクに普遍的に適用可能か？

主な発見

• Bloom埋め込みは、特定の推薦タスクにおいて、基準モデル比で最大12%の相対的精度向上を達成しており、例えば20%の圧縮比でのAmazon（AMZ）データセットで顕著である。
• 平均的に、共起を考慮したブルーム埋め込み（CBE）は標準ブルーム埋め込み（BE）を上回り、全データセットで平均+1.7%（k=4）のスコア上昇を示した。
• 圧縮比 m/d = 0.2 の場合、AMZデータセットにおいてCBEは1.117のスコア比（S_i/S_0）を達成し、CDAやPMIのベースラインをも上回った。
• 本手法は、ゼロまたは最小限のメモリオーバーヘッドで即時計算を可能にし、大規模な埋め込み行列の保存を不要にする。
• 入出力レイヤーのパrameter数が減少するため、アーキテクチャの変更なしに学習時間が顕著に短縮された。
• 誤検出率は低く保たれ、7つのベンチマークデータセットを通じて、推薦システムにとって重要な順序の忠実性を維持した。