[논문 리뷰] Efficient end-to-end learning for quantizable representations

Yeonwoo Jeong, Hyun Oh Song|arXiv (Cornell University)|2018. 05. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 양자화 가능한 임베딩 표현과 희소 이진 해시 코드를 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 효율적인 해시 테이블 구축을 가능하게 한다. 이산 해시 코드 최적화를 최소 비용 흐름 문제로 공식화함으로써, Cifar-100과 ImageNet에서 최신 기술 수준의 검색 정확도를 달성하면서 동시에 완전한 선형 검색 대비 최대 478배의 검색 속도 향상을 제공한다.

ABSTRACT

Embedding representation learning via neural networks is at the core foundation of modern similarity based search. While much effort has been put in developing algorithms for learning binary hamming code representations for search efficiency, this still requires a linear scan of the entire dataset per each query and trades off the search accuracy through binarization. To this end, we consider the problem of directly learning a quantizable embedding representation and the sparse binary hash code end-to-end which can be used to construct an efficient hash table not only providing significant search reduction in the number of data but also achieving the state of the art search accuracy outperforming previous state of the art deep metric learning methods. We also show that finding the optimal sparse binary hash code in a mini-batch can be computed exactly in polynomial time by solving a minimum cost flow problem. Our results on Cifar-100 and on ImageNet datasets show the state of the art search accuracy in precision@k and NMI metrics while providing up to 98X and 478X search speedup respectively over exhaustive linear search. The source code is available at https://github.com/maestrojeong/Deep-Hash-Table-ICML18

연구 동기 및 목표

• 대규모 유사도 검색에서 완전한 선형 검색의 비효율성을 해결하기 위해 직접적으로 양자화 가능한 표현을 학습함으로써.
• 딥 임베딩 표현과 이진 해시 코드를 엔드 투 엔드 방식으로 동시에 최적화하여, 후처리 클러스터링 단계를 회피함으로써.
• 정확도를 희생시키지 않은 채 희소 이진 해시 테이블을 통한 효율적인 추론을 가능하게 함으로써.
• 최적의 희소 이진 해시 코드가 최소 비용 흐름 공식화를 통해 정확하고 효율적으로 계산될 수 있음을 보여줌으로써.

제안 방법

• 해당 방법은 확률적 경사 하강법을 통해 임베딩 네트워크를 최적화하고, 미니배치 단위로 최적의 희소 이진 해시 코드를 계산하는 방식으로 번갈아가며 수행된다.
• 최적의 해시 코드 할당은 이산 최적화 문제를 최소 비용 흐름 문제로 변환함으로써 정확하게 계산되며, 다항식 시간 내에 해결 가능하다.
• 프레임워크는 모듈식이며 기존의 딥 메트릭 학습 방법(예: 시아모이즈 네트워크 및 트리플릿 손실)과 호환된다.
• 효율적인 최소 비용 흐름 계산을 위해 OR-Tools를 활용하고, 텐서플로우 기반의 딥 메트릭 학습 라이브러리와 통합된다.
• 메모리에 기반한 하드 음성 마이닝과 표준 메트릭 학습 목표를 모두 지원하며, 미니배치 확률적 경사 하강 설정에서 학습이 수행된다.
• 최종적으로는 학습된 임베딩과 최적의 이진 코드를 기반으로 해시 테이블이 구성되며, 이는 추론 시 빠른 검색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최적의 희소 이진 해시 코드와 함께 양자화 가능한 임베딩 표현을 엔드 투 엔드 방식으로 동시에 학습할 수 있는가?
• RQ2 희소 이진 해시 코드의 이산 최적화 문제가 다항식 시간 내에 정확하고 효율적으로 해결될 수 있는가?
• RQ3 임베딩과 해시 코드의 엔드 투 엔드 학습이 기존 최신 기술 수준의 딥 메트릭 학습 방법보다 검색 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ4 특히 대규모 데이터셋에서 선형 스캔 대비 검색 비용을 얼마나 줄일 수 있는가?
• RQ5 해시 버킷을 구성할 때, 클러스터 순수도와 NMI 지표 측면에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 Cifar-100과 ImageNet 데이터셋 모두에서 최신 기술 수준의 precision@k 및 NMI 점수를 달성하여 이전의 딥 메트릭 학습 방법들을 능가한다.
• Cifar-100에서, 이 방법은 완전한 선형 검색 대비 최대 98배의 속도 향상을 기록하면서도 뛰어난 검색 정확도를 유지한다.
• ImageNet에서는 선형 검색 대비 최대 478배의 속도 향상을 제공하며, precision@k 및 NMI 지표에서 뚜렷한 향상을 보였다.
• 제안된 방법을 사용해 구성한 해시 테이블은 기존 기준 방법 대비 훨씬 높은 클래스 순수도를 보였으며, NMI 측정치로도 이를 확인할 수 있었다.
• 최소 비용 흐름 공식화를 통해 최적의 희소 이진 해시 코드가 다항식 시간 내에 정확하고 효율적으로 계산될 수 있었다.
• 이 방법은 전체 데이터셋에 대해 반복적인 k-means 클러스터링을 수행할 필요가 없어지며, 이는 대규모 응용 분야에서의 확장성을 보장한다.