[논문 리뷰] Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks

Joan Serrà, Alexandros Karatzoglou|arXiv (Cornell University)|2017. 06. 13.

Recommender Systems and Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 딥 추천 시스템에서 흩어진 고차원 이진 입력 및 출력을 위한 계산적으로 효율적이고 비지도 학습 기반의 압축 기법인 Bloom 임베딩을 제안한다. Bloom 필터 원리를 활용함으로써 모델 크기와 학습 시간을 줄일 수 있으며, 정확도 손실가 최소화되며, 일부 경우에서 최대 12%의 정확도 향상을 달성한다. 또한 실시간 연산과 메모리 오버헤드가 없는 특성을 지닌다.

ABSTRACT

Recommendation algorithms that incorporate techniques from deep learning are becoming increasingly popular. Due to the structure of the data coming from recommendation domains (i.e., one-hot-encoded vectors of item preferences), these algorithms tend to have large input and output dimensionalities that dominate their overall size. This makes them difficult to train, due to the limited memory of graphical processing units, and difficult to deploy on mobile devices with limited hardware. To address these difficulties, we propose Bloom embeddings, a compression technique that can be applied to the input and output of neural network models dealing with sparse high-dimensional binary-coded instances. Bloom embeddings are computationally efficient, and do not seriously compromise the accuracy of the model up to 1/5 compression ratios. In some cases, they even improve over the original accuracy, with relative increases up to 12%. We evaluate Bloom embeddings on 7 data sets and compare it against 4 alternative methods, obtaining favorable results. We also discuss a number of further advantages of Bloom embeddings, such as 'on-the-fly' constant-time operation, zero or marginal space requirements, training time speedups, or the fact that they do not require any change to the core model architecture or training configuration.

연구 동기 및 목표

• 고차원의 흩어진 이진 입력 및 출력으로 인해 발생하는 큰 모델 크기 문제를 해결한다.
• 모델 정확도를 훼손하지 않으면서 아키텍처 변경 없이 메모리 및 학습 오버헤드를 줄인다.
• 캐시 또는 실시간 계산이 가능한 효율적인 일정 시간 복잡도의 임베딩 연산을 가능하게 한다. 이는 극히 낮은 공간 사용량을 동반한다.
• 순위 유지 능력을 유지하고, 추론 시기 동안 원래 아이템으로의 정확하고 가역적인 매핑을 가능하게 한다.
• 자원 제약이 있는 장치, 예를 들어 모바일 플랫폼과 같은 환경에서 학습 속도 향상과 모델 배포 용이성을 향상시킨다.

제안 방법

• 고차원의 원-핫 인코딩된 입력 및 출력 벡터를 낮은 차원의 이진 임베딩으로 압축하기 위해 Bloom 필터 기반 인코딩을 적용한다.
• 고정된 크기의 이진 벡터(즉, Bloom 필터)에 각 아이템 ID를 다수의 위치로 매핑하기 위해 k개의 독립적인 해시 함수를 사용한다.
• 결정적 해시를 통한 실시간 임베딩 계산을 가능하게 하여, 큰 임베딩 행렬을 저장할 필요가 없도록 한다.
• 표준 Bloom 임베딩(BE)과 공통 발생을 고려한 Bloom 임베딩(CBE)을 모두 지원하며, CBE는 아이템 공통 발생 통계에 기반해 해시 함수를 조정한다.
• 기본 모델 또는 손실 함수를 변경하지 않고 입력/출력 레이어 차원만 수정함으로써 표준 딥 러닝 프레임워크와의 호환성을 유지한다.
• 임베딩된 벡터 인덱스를 원래 아이템 ID로 매핑하는 데 사용할 수 있는 룩업 테이블을 저장함으로써 가역성을 확보하여 정확한 예측 매핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Bloom 필터 기반 임베딩은 정확도 손실 없이 딥 추천 모델의 흩어진 이진 입력 및 출력을 효과적으로 압축할 수 있는가?
• RQ2 정확도 및 학습 속도 측면에서 기존의 임베딩 및 압축 기법과 비교해 Bloom 임베딩의 성능은 어떠한가?
• RQ3 아이템 공통 발생 패턴을 활용함으로써 공통 발생을 고려한 Bloom 임베딩(CBE)이 표준 Bloom 임베딩(BE)보다 얼마나 향상되는가?
• RQ4 Bloom 임베딩의 사용이 특히 모바일 또는 저자원 장치에서 학습 시간과 메모리 효율성 향상에 측정 가능한 영향을 미치는가?
• RQ5 Bloom 임베딩은 핵심 모델 아키텍처나 손실 함수를 수정하지 않고도 다양한 추천 작업에 일반적으로 적용 가능한가?

주요 결과

• Bloom 임베딩은 일부 추천 작업에서 기준 모델 대비 최대 12%의 상대적 정확도 향상을 달성한다. 예를 들어, 20% 압축 비율에서 Amazon(AMZ) 데이터셋에서의 성능 향상이 확인되었다.
• 평균적으로 공통 발생을 고려한 Bloom 임베딩(CBE)가 표준 Bloom 임베딩(BE)을 초월하며, 데이터셋 전반에서 평균 +1.7%의 점수 향상(해시 함수 수 k=4 기준)을 기록했다.
• 압축 비율 m/d = 0.2일 때, CBE는 AMZ 데이터셋에서 1.117의 점수 비율(S_i/S_0)을 달성하여, CCA 및 PMI 기준 모델을 초월했다.
• 이 방법은 메모리 오버헤드가 없거나 극히 낮은 수준에서 실시간 계산이 가능하며, 큰 임베딩 행렬을 저장할 필요가 없도록 한다.
• 입력/출력 레이어의 파라미터 수가 줄어들어 학습 시간이 크게 감소하였으며, 아키텍처 변경 없이도 가능했다.
• 거짓 양성 비율은 낮게 유지되었으며, 추천 시스템에 필수적인 순위 유지 능력을 유지를 하였으며, 이는 일곱 개의 벤치마크 데이터셋을 통해 입증되었다.