[논문 리뷰] b-Bit Minwise Hashing in Practice: Large-Scale Batch and Online Learning and Using GPUs for Fast Preprocessing with Simple Hash Functions

Ping Li, Anshumali Shrivastava외 1명|arXiv (Cornell University)|2012. 05. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 대규모 데이터셋에서 스케일러블한 배치 및 온라인 학습을 가능하게 하기 위해 단순한 해시 함수(2U/4U)와 GPU 가속을 사용한 효율적인 b비트 미니웨이즈 해싱을 제안한다. 전처리 단계에서 20–80배의 속도 향상을 달성하고 메모리 사용을 크게 줄이며 높은 학습 정확도를 유지하여 b비트 미니웨이즈 해싱을 산업 규모의 검색 및 머신러닝 워크로드에 실용적으로 적용할 수 있도록 한다.

ABSTRACT

In this paper, we study several critical issues which must be tackled before one can apply b-bit minwise hashing to the volumes of data often used industrial applications, especially in the context of search. 1. (b-bit) Minwise hashing requires an expensive preprocessing step that computes k (e.g., 500) minimal values after applying the corresponding permutations for each data vector. We developed a parallelization scheme using GPUs and observed that the preprocessing time can be reduced by a factor of 20-80 and becomes substantially smaller than the data loading time. 2. One major advantage of b-bit minwise hashing is that it can substantially reduce the amount of memory required for batch learning. However, as online algorithms become increasingly popular for large-scale learning in the context of search, it is not clear if b-bit minwise yields significant improvements for them. This paper demonstrates that $b$-bit minwise hashing provides an effective data size/dimension reduction scheme and hence it can dramatically reduce the data loading time for each epoch of the online training process. This is significant because online learning often requires many (e.g., 10 to 100) epochs to reach a sufficient accuracy. 3. Another critical issue is that for very large data sets it becomes impossible to store a (fully) random permutation matrix, due to its space requirements. Our paper is the first study to demonstrate that $b$-bit minwise hashing implemented using simple hash functions, e.g., the 2-universal (2U) and 4-universal (4U) hash families, can produce very similar learning results as using fully random permutations. Experiments on datasets of up to 200GB are presented.

연구 동기 및 목표

• 대규모 데이터셋에 대한 b비트 미니웨이즈 해싱의 전처리 과정에서 발생하는 높은 계산 비용을 해결하기 위해.
• 산업 규모의 응용에서 전체 무작위 치환 행렬을 저장하는 데 기인한 금방 갈 수 없는 메모리 요구량을 극복하기 위해.
• 온라인 학습 시나리오에서 b비트 미니웨이즈 해싱의 효과성을 입증하기 위해, 다수의 에포크 동안 데이터 로딩 시간이 주요 성능 저하 요인임을 고려하여.
• 완전히 무작위 치환을 대체할 수 있는 단순한 해시 함수(2U/4U)가 정확도를 손상시키지 않음을 보여주기 위해.
• 전처리 시간과 메모리 프로파일을 모두 줄여 실세계의 검색 및 머신러닝 시스템에서 b비트 미니웨이즈 해싱의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 완전한 치환 행렬을 저장할 필요 없이, 무작위 치환을 시뮬레이션하기 위해 2유니버설(2U) 및 4유니버설(4U) 해시 함수를 사용한다.
• 다량의 병렬 처리와 SIMD 실행을 활용하여 GPU 기반 병렬 알고리즘을 구현하여 각 데이터 벡터에 대해 k개의 최소 해시 값을 계산한다.
• 각 해시 값의 가장 낮은 b비트만 저장하여 저장 및 계산 비용을 줄이고, 압축된 b비트 서명을 형성한다.
• b비트 미니웨이즈 해싱 추정기인 $\hat{R}_b = \frac{\hat{P}_b - C_{1,b}}{1 - C_{2,b}}$를 적용한다. 여기서 $\hat{P}_b$는 k개의 치환에서 일치하는 b비트 값의 비율이다.
• b비트 미니웨이즈 해싱을 온라인 학습 파이프라인에 통합하여 각 에포크당 데이터 로딩 시간을 수개월 단위로 줄인다.
• 배치 및 온라인 설정 모두에서 선형 분류기(SVM, 로지스틱 회귀 등)의 입력 특징으로 압축된 2진수 벡터를 사용한다.

실험 결과

연구 질문

• RQ1 완전한 무작위 치환 대신 실용적인 해시 함수를 사용하여 200GB 이상의 데이터셋에 대해 b비트 미니웨이즈 해싱을 효율적으로 확장할 수 있는가?
• RQ2 GPU 가속을 통해 대규모 데이터에 대한 b비트 미니웨이즈 해싱의 전처리 시간을 어느 정도 줄일 수 있는가?
• RQ3 단순한 해시 함수를 사용할 경우 온라인 학습에서 b비트 미니웨이즈 해싱이 충분한 정확도를 유지하는가?
• RQ4 특히 수렴을 위해 다수의 에포크가 필요한 경우, b비트 미니웨이즈 해싱은 온라인 학습에서 데이터 로딩 시간을 얼마나 줄일 수 있는가?
• RQ5 2U/4U 해시 함수의 사용이 실세계 응용에서 완전히 무작위 치환을 사용한 결과와 유사한 학습 성능을 낼 수 있는가?

주요 결과

• GPU 기반 전처리는 CPU 기반 방법 대비 20–80배의 속도 향상을 달성하여 전처리 시간을 데이터 로딩 시간에 비해 무시할 수 없을 정도로 줄였다.
• 2U 및 4U 해시 함수를 사용할 경우 완전히 무작위 치환을 사용한 결과와 거의 동일한 학습 결과를 도출하여, 이를 실용적인 대안으로 사용할 수 있음을 입증했다.
• webspam 데이터셋에서는 b비트 미니웨이즈 해싱으로 데이터 로딩 시간을 8.95배, Rcv1에서는 29.07배 줄여 다수의 에포크를 요구하는 온라인 학습을 크게 가속화했다.
• 각 학습 에포크에 대해 데이터를 로드하고 전처리하는 데 소요되는 시간을 크게 줄여 온라인 학습의 스케일러빌리티를 가능하게 했다.
• 압축된 b비트 표현 덕분에 최종 모델 크기가 크게 줄었으며, 이는 웹 검색 시스템과 같은 메모리 제약이 있는 환경에서의 배포에 매우 중요하다.
• 일반적인 중복 검출에 비해 더 높은 k = 500개의 치환을 사용하더라도 b비트 미니웨이즈 해싱은 분류 작업에서 높은 정확도를 유지하여 학습 응용 분야에서의 강건성을 확인했다.