[논문 리뷰] Saec: Similarity-Aware Embedding Compression in Recommendation Systems

Xiaorui Wu, Hong Xu외 3명|arXiv (Cornell University)|2019. 02. 26.

Recommender Systems and Techniques참고 문헌 18인용 수 4

한 줄 요약

Saec는 추천 시스템을 위한 유사도 인지, 분야 인지 임베딩 압축 방법을 제안하며, k-means를 사용해 고빈도 특징을 군집화하고 저빈도 특징을 가장 가까운 중심점에 할당함으로써 실세계 Tencent의 QQ 모바일 브라우저에서 생산 데이터 기반으로 AUC와 로그 손실에 성능 저하 없이 약 27배의 효과적 압축을 달성한다.

ABSTRACT

Production recommendation systems rely on embedding methods to represent various features. An impeding challenge in practice is that the large embedding matrix incurs substantial memory footprint in serving as the number of features grows over time. We propose a similarity-aware embedding matrix compression method called Saec to address this challenge. Saec clusters similar features within a field to reduce the embedding matrix size. Saec also adopts a fast clustering optimization based on feature frequency to drastically improve clustering time. We implement and evaluate Saec on Numerous, the production distributed machine learning system in Tencent, with 10-day worth of feature data from QQ mobile browser. Testbed experiments show that Saec reduces the number of embedding vectors by two orders of magnitude, compresses the embedding size by ~27x, and delivers the same AUC and log loss performance.

연구 동기 및 목표

• 수십억 개의 특징으로 인해 수백 GB에 이르는 대규모 임베딩 행렬의 증가하는 메모리 사용량을 해결하기 위해.
• 동적 특징 증가와 변동하는 임베딩 벡터 길이로 인해 기존 모델 압축 기법이 추천 시스템에 적합하지 않은 한계를 극복하기 위해.
• 특징 유사도와 빈도를 활용해 임베딩 행렬을 효과적으로 압축하면서 모델 성능을 유지하기 위해.
• 정확도를 훼손하지 않고도 군집화 시간을 크게 줄이기 위해 가장 빈도가 높은 특징들만 처리하는 확장 가능한 군집화 방법을 설계하기 위해.
• 계산 오버헤드를 최소화하고 고성능 추론을 유지함으로써 대규모 생산 시스템에 실용적으로 구현 가능하게 하기 위해.

제안 방법

• 변동하는 임베딩 벡터 길이를 처리하기 위해 각 특징 분야 내에서 별도로 k-means 군집화를 적용하여 분야 인지 압축을 보장한다.
• 군집화 계산 시간을 줄이기 위해 각 분야에서 상위-k개의 가장 빈도가 높은 특징만 군집 대표로 사용한다.
• 임베딩 벡터 유사도 기반으로 저빈도 특징을 가장 가까운 중심점에 할당하여 정보 손실를 최소화한다.
• 특징 빈도의 무거운 尾(heavy-tailed) 분포를 활용해 군집화 속도를 최적화하여 처리 시간을 32배 이상 단축시킨다.
• 특히 압축된 군집의 정확도 손실를 보완하기 위해 압축 후 모델을 재학습시킨다.
• 엔드 투 엔드 평가를 위해 압축된 임베딩 행렬을 생산용 딥러닝 시스템에 통합한다.

실험 결과

연구 질문

• RQ1 특징 분야 내에서 유사한 특징을 군집화하면 추천 시스템에서 모델 성능 저하 없이 임베딩 행렬 크기를 줄일 수 있는가?
• RQ2 군집화에 고빈도 특징만 사용할 경우 압축 과정의 정확도와 확장성에 어떤 영향을 미치는가?
• RQ3 특징 빈도 기반의 빠른 군집화가 계산 비용을 얼마나 줄일 수 있으며, 압축 효과성은 유지되는가?
• RQ4 실세계 추천 워크로드에서 압축 비율과 모델 성능의 균형을 고려할 때 최적의 군집 수(k)는 얼마인가?
• RQ5 기존 임베딩 압축 기법과 비교해 본다면, 제안된 방법은 메모리 감소와 추론 품질 측면에서 어떤가?

주요 결과

• Saec는 임베딩 벡터의 수를 두 자리 수만큼 감소시켜 약 27배의 효과적 압축 비율을 달성한다.
• 압축된 모델은 원본 모델과 동일한 AUC와 로그 손실 성능을 유지하여 예측 정확도에 변화가 없음을 입증한다.
• 빠른 군집화 최적화로 군집화 시간을 32배 이상 단축시켜 분야당 2분 이내로 줄여, 시간 단위 재학습에 실용적으로 적용 가능하게 한다.
• 최적의 군집 수(k)는 100이며, 이보다 높은 값(예: k=1000)은 나쁜 초기화와 군집당 재학습 데이터 감소로 인해 성능 저하를 초래한다.
• k=50은 너무 과도하게 군집화가粗분해되어 성능이 열 劣하므로, k=100이 압축과 정보 유지 간 최적의 균형을 이룬다.
• 이 방법은 생산 시스템에 구현 가능하며, 현재 Tencent의 전면 추천 파이프라인에 Saec 통합을 위한 지속적인 노력이 진행 중이다.