[논문 리뷰] Hashing Algorithms for Large-Scale Learning

Ping Li, Anshumali Shrivastava외 2명|arXiv (Cornell University)|2011. 06. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 105

한 줄 요약

이 논문은 대규모 이진, 고차원 데이터셋을 위한 압축적이고 메모리 효율적인 표현으로 b비트 미니웨이즈 해싱을 제안하며, 비선형 유사도 커널을 선형 내적으로 변환함으로써 선형 SVM 및 로지스틱 회귀와 원활하게 통합할 수 있도록 한다. b비트 해싱은 동일한 저장 비용에서 Vowpal Wabbit와 무작위 투영보다 정확도가 뛰어나며, b ≥ 16일 경우 b비트 해싱을 Vowpal Wabbit와 조합하면 학습 속도가 더욱 향상됨을 보여준다.

ABSTRACT

In this paper, we first demonstrate that b-bit minwise hashing, whose estimators are positive definite kernels, can be naturally integrated with learning algorithms such as SVM and logistic regression. We adopt a simple scheme to transform the nonlinear (resemblance) kernel into linear (inner product) kernel; and hence large-scale problems can be solved extremely efficiently. Our method provides a simple effective solution to large-scale learning in massive and extremely high-dimensional datasets, especially when data do not fit in memory. We then compare b-bit minwise hashing with the Vowpal Wabbit (VW) algorithm (which is related the Count-Min (CM) sketch). Interestingly, VW has the same variances as random projections. Our theoretical and empirical comparisons illustrate that usually $b$-bit minwise hashing is significantly more accurate (at the same storage) than VW (and random projections) in binary data. Furthermore, $b$-bit minwise hashing can be combined with VW to achieve further improvements in terms of training speed, especially when $b$ is large.

연구 동기 및 목표

• 메모리 용량을 초과하는 데이터셋에서 대규모 머신러닝 모델 학습 시 메모리 병목 현상을 해결한다.
• 초고차원 이진 데이터에서 선형 SVM 및 로지스틱 회귀의 효율적 학습을 가능하게 한다.
• 학습 알고리즘에 사용할 수 있는 이론적으로 타당하고 양의 정부호 커널 표현을 b비트 미니웨이즈 해싱을 통해 제공한다.
• 정확도 및 학습 효율성 측면에서 b비트 미니웨이즈 해싱을 Vowpal Wabbit 및 무작위 투영과 비교한다.
• b비트 해싱과 Vowpal Wabbit를 조합한 하이브리드 접근 방식을 탐색하여 정확도를 유지하면서 학습 속도를 최적화한다.

제안 방법

• 고차원 이진 벡터의 압축적이고 저차원 표현을 생성하기 위해 b비트 미니웨이즈 해싱을 적용하여, 비슷도 추정치를 유지한다.
• b비트 미니웨이즈 해싱 행렬이 양의 정부호임을 증명하여, SVM 및 로지스틱 회귀에서 유효한 커널으로 사용할 수 있음을 보장한다.
• 간단한 기법을 통해 비선형 비슷도 커널을 선형 내적으로 변환함으로써, 효율적인 선형 해법기를 적용할 수 있도록 한다.
• 이론적 분석을 통해 b비트 해싱이 무작위 투영 및 Vowpal Wabbit보다 분산이 낮음을 보이며, 특히 m ≫ k 이고 m ≪ 2^b k 인 경우에 두드러진다.
• 하이브리드 방법 제안: b비트 미니웨이즈 해싱의 위에 Vowpal Wabbit 해싱을 적용하여 학습 시간을 단축시키면서도 정확도를 유지한다.
• 단일 패assing, 병렬 처리 가능한 전처리 단계를 사용하여 해시된 벡터를 생성함으로써 I/O를 최소화하고, 여러 학습 작업 간에 재사용 가능하게 한다.

실험 결과

연구 질문

• RQ1 b비트 미니웨이즈 해싱은 선형 SVM 및 로지스틱 회귀의 효율적 학습을 가능하게 하는 양의 정부호 커널로 사용될 수 있는가?
• RQ2 동일한 저장 비용에서 b비트 미니웨이즈 해싱의 정확도는 Vowpal Wabbit 및 무작위 투영과 비교해 어떻게 되는가?
• RQ3 분산과 학습 시간을 최소화하기 위해 해시 테이블 수(m)와 비트 길이(b) 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 b비트 미니웨이즈 해싱을 Vowpal Wabbit와 조합하면 정확도를 저하시키지 않고도 학습 속도를 더욱 향상시킬 수 있는가?
• RQ5 대규모 학습에서 I/O 및 계산 비용에 비해 b비트 해싱의 전처리 비용이 무시할 만큼 낮아지는 조건은 무엇인가?

주요 결과

• b비트 미니웨이즈 해싱은 양의 정부호 커널을 생성하며, SVM 및 로지스틱 회귀에서의 사용에 이론적으로 탄탄한 기반을 제공한다.
• 동일한 저장 비용에서 b비트 미니웨이즈 해싱은 이진 데이터에 대해 Vowpal Wabbit 및 무작위 투영보다 유의미하게 정확도가 뛰어나다.
• b = 16일 경우, b비트 해싱 위에 m = 2^8k로 Vowpal Wabbit 해싱을 적용하면 직접 b비트 해싱를 사용한 것과 동일한 테스트 정확도를 확보할 수 있으나, 학습 시간이 크게 단축된다.
• b = 8일 경우, Vowpal Wabbit와 조합해도 추가적인 향상이 없으며, 분산이 이미 낮고 이득이 미미하기 때문이다.
• b ≥ 16일 경우, b비트 해싱과 Vowpal Wabbit를 조합한 하이브리드 접근 방식이 가장 효과적이며, 이 경우 학습 속도 향상이 두드러진다.
• b비트 미니웨이즈 해싱의 전처리 비용은 일반적으로 무시할 만큼 낮으며, 단일 데이터 스캔으로 충분하고, 쉽게 병렬화 가능하기 때문이다.