[논문 리뷰] Multi-Probe Zero Collision Hash (MPZCH): Mitigating Embedding Collisions and Enhancing Model Freshness in Large-Scale Recommenders

Ziliang Zhao, Bi Xue외 16명|arXiv (Cornell University)|2026. 02. 19.

Recommender Systems and Techniques인용 수 0

한 줄 요약

MPZCH는 CUDA 기반의 다중 프로브 선형 탐색 임베딩 인덱스로, 충돌을 제거하고 대규모 추천 시스템에서 임베딩 신선도를 향상시키며, 강력한 온라인 성능 및 TorchRec 통합을 제공합니다.

ABSTRACT

Embedding tables are critical components of large-scale recommendation systems, facilitating the efficient mapping of high-cardinality categorical features into dense vector representations. However, as the volume of unique IDs expands, traditional hash-based indexing methods suffer from collisions that degrade model performance and personalization quality. We present Multi-Probe Zero Collision Hash (MPZCH), a novel indexing mechanism based on linear probing that effectively mitigates embedding collisions. With reasonable table sizing, it often eliminates these collisions entirely while maintaining production-scale efficiency. MPZCH utilizes auxiliary tensors and high-performance CUDA kernels to implement configurable probing and active eviction policies. By retiring obsolete IDs and resetting reassigned slots, MPZCH prevents the stale embedding inheritance typical of hash-based methods, ensuring new features learn effectively from scratch. Despite its collision-mitigation overhead, the system maintains training QPS and inference latency comparable to existing methods. Rigorous online experiments demonstrate that MPZCH achieves zero collisions for user embeddings and significantly improves item embedding freshness and quality. The solution has been released within the open-source TorchRec library for the broader community.

연구 동기 및 목표

• 대규모 임베딩 테이블에서 ID 기수 증가에 따라 임베딩 충돌 문제를 해결한다.
• 생산 규모의 처리량을 유지하면서 충돌을 완화하는 고성능 인덱싱 메커니즘을 제안한다.
• 기록된 표현을 재설정하고 더 이상 사용되지 않는 ID를 은퇴시켜 임베딩 신선도를 가능하게 한다.
• 실세계 모델에 원활한 배치를 위해 TorchRec와 MPZCH를 통합한다.

제안 방법

• 보조 텐서(정체성 및 메타데이터)를 도입하여 슬롯 차지 여부 및 TTL을 추적한다.
• 발견(discovery)과 동작(action)을 분리하는 2패스 선형 탐색 메커니즘을 사용하여 일관성 문제를 줄인다.
• 퇴거 정책(TTL 기반 지연적 배제 및 선택적 LRU)과 배제 시 최적화 상태를 재설정한다.
• 수십만 개의 ID에 대해 높은 병렬성을 갖는 삽입/조회/퇴거 연산용 CUDA 커널을 개발한다.
• 모델 게시 중 정체성 텐서를 게시하고 추론 시 고정해 결정론적 조회를 보장한다.
• 스트리밍 업데이트를 통해 delta 변경을 추론 서비스로 전파하는 온라인 학습을 지원한다.

Figure 1. A simplified example of ID insertion, lookup, and collision handling.

실험 결과

연구 질문

• RQ1 MPZCH가 프로덕션 환경에서 대규모 사용자/항목 임베딩에 대해 제로 충돌 비율을 달성할 수 있는가?
• RQ2 퇴거 정책과 TTL 설정이 임베딩 신선도와 수렴에 어떤 영향을 미치는가?
• RQ3 MPZCH의 성능 대 가격은 scale에서의 표준 해시와 비교했을 때 지연/처리량에 어떤 트레이드오프가 있는가?
• RQ4 TorchRec와의 통합이 분산 학습 환경에서 배포에 어떤 영향을 미치는가?

주요 결과

테이블 크기(백만 단위)	용량 비율	시그리드 해시 충돌율 (%)	최대 탐색 깊이에서 MPZCH 충돌율 (%) (P=8)	P=16	P=32	P=64	P=128	P=256	P=512
100	0.67x	48.2080%	34.0631%	33.4269%	33.3363%	33.3333%	33.3333%	33.3333%	33.3333%
150	1.00x	36.7917%	12.0940%	8.4059%	5.8717%	4.1186%	2.8981%	2.0430%	1.4411%
200	1.33x	29.6472%	3.8475%	1.3054%	0.2875%	0.0299%	0.0008%	0.0000%	0.0000%
250	1.67x	24.8028%	1.2974%	0.1967%	0.0105%	0.0001%	0.0000%	0.0000%	0.0000%
300	2.00x	21.3082%	0.4791%	0.0332%	0.0004%	0.0000%	0.0000%	0.0000%	0.0000%
350	2.33x	18.6686%	0.1957%	0.0064%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
400	2.67x	16.6069%	0.0864%	0.0014%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
450	3.00x	14.9618%	0.0407%	0.0003%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%
500	3.33x	13.6052%	0.0206%	0.0001%	0.0000%	0.0000%	0.0000%	0.0000%	0.0000%

• 사용자 임베딩의 경우, 테이블 크기가 ID 기수보다 크고 프로브 깊이가 충분할 때 제로 충돌을 달성한다.
• 생산 테스트에서 사용자 임베딩 충돌이 제거되었고 여러 작업에서 NE가 개선되었으며(14/17 작업), 일부 결과는 중립적이었다.
• 항목 임베딩의 경우 MPZCH는 더 낫게 임베딩 신선도와 학습 안정성을 개선하며 더 이상 사용되지 않는 IDs를 적극적으로 제거하고 제거 시 옵티마이저를 재설정한다.
• A/B 테스트에서 TTL 설정(게시 ID: 24시간, 소유자 ID: 72시간)으로 새로 게시된 비디오의 노출이 0.83% 상승했다.
• t-SNE 분석에서 MPZCH를 적용한 경우 창작자 간 임베딩의 intra-유사도가 더 높아(전체 0.77 vs 0.66, 상대 증가 +25%~-+38%) 차가운 시작에서의 의미론적 일관성이 개선되었음을 시사한다.
• MPZCH의 통합은 학습 QPS와 지연을 유지했고, GPU 기반 커널은 HBM/CUDA에서 배치 지연 0.8~0.9ms를 달성했으며, 게시 이후 추론 시점의 조회는 결정론적 유지 속성을 보였다.

Figure 2. An example of kernel execution with TTL eviction policy. Probing details are omitted for clarity, with arrows pointing to the final result slots.