[논문 리뷰] Making Online Sketching Hashing Even Faster

Xixian Chen, Haiqin Yang외 3명|arXiv (Cornell University)|2020. 10. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 57인용 수 7

한 줄 요약

이 논문은 스트리밍 데이터를 단일 패assing 및 저메모리로 처리할 수 있도록 온라인 스케칭 해싱을 가속화하는 FROSH(Fastest Online Sketching Hashing)와 그 분산 버전인 DFROSH를 제안한다. 압축된 형태로 데이터를 스케칭하기 위해 독립적인 변환을 적용함으로써, FROSH는 동일한 메모리 예산 하에 OSH와 유사한 스케칭 정밀도를 달성하면서도 최대 300배 빠른 학습 속도를 확보한다. 이는 FLICKR-25600와 같은 대규모 데이터셋에서 학습 시간을 분 단위에서 초 단위로 단축시킨다.

ABSTRACT

Data-dependent hashing methods have demonstrated good performance in various machine learning applications to learn a low-dimensional representation from the original data. However, they still suffer from several obstacles: First, most of existing hashing methods are trained in a batch mode, yielding inefficiency for training streaming data. Second, the computational cost and the memory consumption increase extraordinarily in the big data setting, which perplexes the training procedure. Third, the lack of labeled data hinders the improvement of the model performance. To address these difficulties, we utilize online sketching hashing (OSH) and present a FasteR Online Sketching Hashing (FROSH) algorithm to sketch the data in a more compact form via an independent transformation. We provide theoretical justification to guarantee that our proposed FROSH consumes less time and achieves a comparable sketching precision under the same memory cost of OSH. We also extend FROSH to its distributed implementation, namely DFROSH, to further reduce the training time cost of FROSH while deriving the theoretical bound of the sketching precision. Finally, we conduct extensive experiments on both synthetic and real datasets to demonstrate the attractive merits of FROSH and DFROSH.

연구 동기 및 목표

• 스트리밍 및 대규모 데이터 환경에서 배치 학습 기반 해싱 방법의 비효율성을 해결한다.
• 고차원 데이터 처리에서 계산 비용과 메모리 소비를 감소시킨다.
• 기존 온라인 해싱 방법의 학습 속도 및 확장성 측면에서의 한계를 극복한다.
• 온라인 및 분산 버전에 대해 스케칭 정밀도에 대한 이론적 보장을 제공한다.
• 실시간, 분산, 스트리밍 데이터 애플리케이션에서 해싱의 실용적 구현을 가능하게 한다.

제안 방법

• 압축된 형태로 데이터를 압축하기 위해 독립적인 변환을 사용하는 온라인 스케칭 해싱 알고리즘인 FROSH를 제안한다.
• 이론적 분석을 통해 FROSH가 동일한 메모리 예산 하에 OSH와 유사한 스케칭 정밀도를 유지함을 증명한다.
• 다중 머신에서 병렬로 데이터를 처리하는 FROSH의 분산 확장인 DFROSH를 도입한다.
• 정밀도와 효율성의 균형을 위해 스케칭 크기 ℓ = 2r를 사용하며, 여기서 r은 코드 길이이다.
• FROSH 및 DFROSH에 대해 m = 4d의 경험적 설정을 적용하고, DFROSH에서는 데이터를 다섯 대의 머신에 균일하게 분산한다.
• 정확도를 유지하면서 계산을 최소화하기 위해 SVD 기반 근사과 저랭크 행렬 분해를 활용한다.

실험 결과

연구 질문

• RQ1 스케칭 정밀도를 손상시키지 않고 온라인 스케칭 해싱을 상당히 빠르게 만들 수 있는가?
• RQ2 동일한 메모리 제약 조건 하에서 제안된 FROSH 알고리즘이 OSH에 비해 학습 시간과 정밀도에서 어떻게 비교되는가?
• RQ3 FROSH의 분산 구현(DFFROSH)은 정밀도에 대한 이론적 한계를 유지하면서도 학습을 추가로 가속화할 수 있는가?
• RQ4 FROSH는 FLICKR-25600와 같은 고차원 실세계 데이터셋에서 배치 학습 기반 방법에 비해 어떻게 성능을 발휘하는가?
• RQ5 다양한 코드 길이(32, 64, 128비트)에서 학습 효율성과 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• FROSH는 OSH 대비 학습 시간을 1/20에서 1/10로 단축하여, CIFAR-10에서 32비트 코드 기준 0.63초, FLICKR-25600에서는 72초를 기록한다.
• DFROSH는 배치 학습 기반 OCH 대비 최대 300배 빠른 속도를 확보하여, FLICKR-25600에서 학습 시간을 5,000초 이상에서 30초 이내로 단축시켰다.
• FROSH와 DFROSH는 OSH와 유사한 MAP 점수를 유지하며, FLICKR-25600에서는 OCH를 초월하는 성능을 보여, 고차원 데이터에서 강력한 일반화 능력을 입증한다.
• 정밀도-재현율 곡선을 통해 FROSH와 DFROSH가 OSH와 거의 겹치며, 경쟁 가능한 검색 정확도를 확인한다.
• 모든 데이터셋에서 FROSH와 DFROSH는 들어오는 데이터에 따라 일관되게 MAP 점수를 향상시켜 데이터 드리프트에 효과적으로 적응하는 것을 보여준다.
• 이론적 분석을 통해 FROSH와 DFROSH가 스케칭 정밀도를 한계 내에서 유지함을 확인하여, 효율성-정확도의 상충 관계를 정당화한다.