[論文レビュー] Multi-Probe Zero Collision Hash (MPZCH): Mitigating Embedding Collisions and Enhancing Model Freshness in Large-Scale Recommenders

Ziliang Zhao, Bi Xue+16 more|arXiv (Cornell University)|Feb 19, 2026

Recommender Systems and Techniques被引用数 0

ひとこと要約

MPZCHはCUDAベースのマルチプローブ線形探索埋め込みインデックスで衝突を排除し、大規模レコメンダーで埋め込みの新鮮度を向上させ、オンライン性能とTorchRec統合を強化します。

ABSTRACT

Embedding tables are critical components of large-scale recommendation systems, facilitating the efficient mapping of high-cardinality categorical features into dense vector representations. However, as the volume of unique IDs expands, traditional hash-based indexing methods suffer from collisions that degrade model performance and personalization quality. We present Multi-Probe Zero Collision Hash (MPZCH), a novel indexing mechanism based on linear probing that effectively mitigates embedding collisions. With reasonable table sizing, it often eliminates these collisions entirely while maintaining production-scale efficiency. MPZCH utilizes auxiliary tensors and high-performance CUDA kernels to implement configurable probing and active eviction policies. By retiring obsolete IDs and resetting reassigned slots, MPZCH prevents the stale embedding inheritance typical of hash-based methods, ensuring new features learn effectively from scratch. Despite its collision-mitigation overhead, the system maintains training QPS and inference latency comparable to existing methods. Rigorous online experiments demonstrate that MPZCH achieves zero collisions for user embeddings and significantly improves item embedding freshness and quality. The solution has been released within the open-source TorchRec library for the broader community.

研究の動機と目的

• ID基数が増加するにつれて大規模埋め込みテーブルの埋め込み衝突を解決する。
• 衝突を緩和しつつ生産規模のスループットを維持する高性能なインデックス機構を提案する。
• 退役したIDを退役させ、学習表現をリセットすることで埋め込みの新鮮度を向上させる。
• 実世界モデルへのデプロイを容易にするため、MPZCHをTorchRecと統合する。

提案手法

• スロット占有とTTLを追跡する補助テンソル（同一性とメタデータ）を導入する。
• 発見と操作を分離するために二段階の線形探索机制を用い、一貫性問題を低減する。
• TTLベースの遅延退 evictionとオプションのLRUを実装し、退 eviction時にオプティマイザ状態をリセットする。
• 何万ものIDに対して高い並列性を持つ挿入/探索/退避操作のCUDAカーネルを開発する。
• モデル公開時に同一性テンソルを公開し、推論時には決定論的なルックアップを保つために凍結する。
• オンライン学習をサポートし、推論サービスへデルタ変更をストリーミング更新で伝搬する。

Figure 1. A simplified example of ID insertion, lookup, and collision handling.

実験結果

リサーチクエスチョン

• RQ1 MPZCHは本番環境設定で大規模なユーザー/アイテム埋め込みに対して衝突ゼロを達成できるか。
• RQ2 退避ポリシーとTTL設定は埋め込みの新鮮度と収束にどのように影響するか。
• RQ3 MPZCHと標準ハッシュのスケール時の性能トレードオフ（レイテンシ、スループット）はどの程度か。
• RQ4 TorchRecとの統合が分散学習環境でのデプロイにどう影響するか。

主な発見

Table Size (Millions)	Capacity Ratio	Sigrid Hash Collsion Rate (%)	MPZCH Collision Rate (%) at max_probe = P (P=8)	P=16	P=32	P=64	P=128	P=256	P=512
100	0.67x	48.2080%	34.0631%	33.4269%	33.3363%	33.3333%	33.3333%	33.3333%	33.3333%
150	1.00x	36.7917%	12.0940%	8.4059%	5.8717%	4.1186%	2.8981%	2.0430%	1.4411%
200	1.33x	29.6472%	3.8475%	1.3054%	0.2875%	0.0299%	0.0008%	0.0000%	0.0000%
250	1.67x	24.8028%	1.2974%	0.1967%	0.0105%	0.0001%	0.0000%	0.0000%	0.0000%
300	2.00x	21.3082%	0.4791%	0.0332%	0.0004%	0.0000%	0.0000%	0.0000%	0.0000%
350	2.33x	18.6686%	0.1957%	0.0064%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
400	2.67x	16.6069%	0.0864%	0.0014%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
450	3.00x	14.9618%	0.0407%	0.0003%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
500	3.33x	13.6052%	0.0206%	0.0001%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%

• ユーザー埋め込みはテーブルサイズがID基数を超え、プローブ深さが十分な場合、衝突ゼロを達成する。
• 本番テストではユーザー埋め込みの衝突が排除され、複数タスクでNEが改善（14/17タスク、一部は中立的な結果）。
• アイテム埋め込みでは、 obsolete IDを事前に退避させ、退避時にオプティマイザをリセットすることで埋め込みの新鮮度と学習安定性を向上。
• A/Bテストで新規投稿動画のインプレッションがTTL設定（投稿ID: 24h、オーナーID: 72h）で0.83%向上。
• t-SNE分析でMPZCH導入時の生成者間埋め込み類似度が高く（全体0.77対0.66、相対改善25%-38%）、コールドスタート時の意味的整合性が改善。
• MPZCHの統合はトレーニングQPSとレイテンシを維持し、GPUベースのカーネルはHBM/CUDA上で約0.8–0.9 msのバッチレイテンシを達成、公開後も推論時ルックアップは決定論的に維持。

Figure 2. An example of kernel execution with TTL eviction policy. Probing details are omitted for clarity, with arrows pointing to the final result slots.