[論文レビュー] Saec: Similarity-Aware Embedding Compression in Recommendation Systems

Xiaorui Wu, Hong Xu+3 more|arXiv (Cornell University)|Feb 26, 2019

Recommender Systems and Techniques参考文献 18被引用数 4

ひとこと要約

Saecは、推薦システムの埋め込み圧縮のための類似度認識型・分野認識型の手法を提案する。この手法はk-meansを用いて高頻度特徴をクラスタリングし、低頻度特徴を最も近い重心に割り当てる。TencentのQQモバイルブラウザで得られた本番環境データにおいて、AUCとログ損失に性能低下を来さずに27倍の有効圧縮を達成した。

ABSTRACT

Production recommendation systems rely on embedding methods to represent various features. An impeding challenge in practice is that the large embedding matrix incurs substantial memory footprint in serving as the number of features grows over time. We propose a similarity-aware embedding matrix compression method called Saec to address this challenge. Saec clusters similar features within a field to reduce the embedding matrix size. Saec also adopts a fast clustering optimization based on feature frequency to drastically improve clustering time. We implement and evaluate Saec on Numerous, the production distributed machine learning system in Tencent, with 10-day worth of feature data from QQ mobile browser. Testbed experiments show that Saec reduces the number of embedding vectors by two orders of magnitude, compresses the embedding size by ~27x, and delivers the same AUC and log loss performance.

研究の動機と目的

• 数十億の特徴によって生じる数百GBに達する可能性がある本番環境の推薦システムにおける巨大な埋め込み行列のメモリ使用量の増大に対処すること。
• 動的特徴の増加や可変長の埋め込みベクトル長に起因して、既存のモデル圧縮技術が推薦システムに適さないという制限を克服すること。
• 特徴の類似度と頻度を活用して、モデル性能を維持したまま埋め込み行列を効果的に圧縮すること。
• 最も頻度の高い特徴のみを処理することで、クラスタリング時間の大幅な削減を実現しながらも、精度に影響を与えないスケーラブルなクラスタリング手法を設計すること。
• 計算負荷を最小限に抑え、高い推論効率を維持することで、大規模本番システムへの実用的導入を可能にすること。

提案手法

• 可変長の埋め込みベクトルを扱えるように、各特徴分野ごとに別々にk-meansクラスタリングを適用することで、分野認識型の圧縮を実現する。
• クラスタの代表となるために、各分野における上位k個の最も頻度の高い特徴のみを用いることで、クラスタリングの計算時間を削減する。
• 埋め込みベクトルの類似度に基づいて低頻度特徴を最も近い重心に割り当て、情報損失を最小限に抑える。
• 特徴頻度の重い尾分布の性質を活用することでクラスタリング速度を最適化し、処理時間を32倍以上短縮する。
• 特に圧縮されたクラスタの精度損失を補うために、圧縮後にモデルを微調整する。
• エンドツーエンドの評価を可能にするために、圧縮された埋め込み行列を本番のディープラーニングシステムに統合する。

実験結果

リサーチクエスチョン

• RQ1 分野内での類似特徴のクラスタリングは、推薦システムにおける埋め込み行列のサイズを縮小するが、モデル性能を低下させないか？
• RQ2 クラスタリングに高頻度特徴のみを用いることで、圧縮プロセスの精度とスケーラビリティにどのような影響を与えるか？
• RQ3 特徴頻度に基づく高速クラスタリングは、計算コストをどれほど削減できるか、かつ圧縮効果を維持できるか？
• RQ4 実世界の推薦ワークロードにおいて、圧縮比とモデル性能のバランスを最適化するのに適したクラスタ数（k）は何か？
• RQ5 既存の埋め込み圧縮技術と比較して、本手法はメモリ削減と推論品質の両面で優れているか？

主な発見

• Saecは埋め込みベクトルの数を2桁減少させ、約27倍の有効圧縮比を達成した。
• 圧縮モデルは元のモデルと同等のAUCとログ損失性能を維持しており、予測精度に低下がないことが示された。
• 高速クラスタリング最適化により、クラスタリング時間を32倍以上短縮し、1分未満（1分未満）にまで短縮された。これにより、毎時再トレーニングが実用的になった。
• 最適なクラスタ数（k）は100であり、k=1000などの高い値では初期化が不十分で、各クラスタの再トレーニングデータが減少するため、性能劣化が生じた。
• k=50では過度に粗い圧縮が生じ、性能が劣悪になるため、k=100が圧縮と情報保持の両面で最良のバランスを提供していることが示された。
• 本手法は本番環境システムへの導入が可能であり、Tencentのフルスケール推薦パイプラインへの統合を継続的に進めている。