[논문 리뷰] One Loss for Quantization: Deep Hashing with Discrete Wasserstein Distributional Matching

Khoa D. Doan, Peng Yang외 1명|arXiv (Cornell University)|2022. 05. 31.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 깊이 있는 감독형 이미지 해싱을 위한 단일 손실 양자화 방법을 제안한다. 이 방법은 새로운 효율적인 Sliced Wasserstein Distance의 변종인 HSWD(Hash-based Sliced Wasserstein Distance)를 사용하여 학습된 연속적 해시 코드와 균일한 이산 분포 사이의 분포 거리를 최소화한다. 이 접근법은 동시에 코드 균형을 향상시키고 양자화 오차를 감소시켜, 기존의 다중 손실 방법에 비해 계산 부담이 낮은 상황에서도 다양한 데이터셋과 모델에서 뛰어난 검색 성능을 달성한다.

ABSTRACT

Image hashing is a principled approximate nearest neighbor approach to find similar items to a query in a large collection of images. Hashing aims to learn a binary-output function that maps an image to a binary vector. For optimal retrieval performance, producing balanced hash codes with low-quantization error to bridge the gap between the learning stage's continuous relaxation and the inference stage's discrete quantization is important. However, in the existing deep supervised hashing methods, coding balance and low-quantization error are difficult to achieve and involve several losses. We argue that this is because the existing quantization approaches in these methods are heuristically constructed and not effective to achieve these objectives. This paper considers an alternative approach to learning the quantization constraints. The task of learning balanced codes with low quantization error is re-formulated as matching the learned distribution of the continuous codes to a pre-defined discrete, uniform distribution. This is equivalent to minimizing the distance between two distributions. We then propose a computationally efficient distributional distance by leveraging the discrete property of the hash functions. This distributional distance is a valid distance and enjoys lower time and sample complexities. The proposed single-loss quantization objective can be integrated into any existing supervised hashing method to improve code balance and quantization error. Experiments confirm that the proposed approach substantially improves the performance of several representative hashing~methods.

연구 동기 및 목표

• 높은 검색 성능을 위해 필수적인 낮은 양자화 오차와 균형 잡힌 코드 분포를 동시에 달성하는 데 도전하는 것.
• 기존의 히우리스틱적 접근, 계산 비용이 높고 광범위한 초모수 튜닝이 필요한 다중 손실 양자화 방법의 한계를 극복하는 것.
• 연속적 해시 코드와 이산 균일 분포 사이의 분포 거리 최소화를 통해 양자화 목표를 재정의하여 핵심 성능 기준을 통합 최적화할 수 있도록 하는 것.
• 해시 함수의 이산적 성격을 활용하여 표본 수와 시간 복잡도를 감소시키는 계산적으로 효율적인 분포 거리 측정법인 HSWD를 개발하는 것.
• 기존의 깊이 학습 해싱 프레임워크에 쉽게 통합되어 아키텍처 변경 없이 성능을 향상시킬 수 있도록 하는 것.

제안 방법

• 해시 함수의 연속적 출력 분포와 이진 코드에 대한 사전 정의된 균일한 이산 분포 사이의 분포 거리 최소화를 양자화 목표로 설정한다.
• 낮은 표본 복잡도와 추정 용이성로 인해 Sliced Wasserstein Distance(SWD)를 기초 분포 거리로 채택한다.
• 해시 코드의 이산적 구조를 활용하여 필요한 랜덤 투영 수를 줄이는 새로운 변종인 HSWD(Hash-based Sliced Wasserstein Distance)를 제안한다.
• HSWD는 해시 코드 길이와 동일한 수의 투영만 사용하여 정보가 없는 방향으로의 불필요한 투영을 제거하고, 비용이 많이 드는 행렬 곱셈을 피한다.
• 기존의 다양한 히우리스틱 양자화 손실을 대체하는 단일 유연한 손실 항목으로 HSWD를 어떤 기존 감독형 해싱 프레임워크에나 통합한다.
• 이 방법은 종단 간 학습을 가능하게 하여 모델이 균형 잡힌 해시 코드와 이산 이진 코드에 가까운 연속적 코드를 학습하도록 유도하며, 양자화 오차를 최소화한다.

Figure 1 : A visual illustration of the optimal function (Figure (b)) and learned hash function with poor the code balance (Figure (c)) and quantization constraint (Figure (d)). Figure (a) shows the original data clusters from four classes.

실험 결과

연구 질문

• RQ1 통합된 단일 손실 목표가 깊이 있는 감독형 이미지 해싱에서 양자화 오차와 코드 균형을 효과적으로 최적화할 수 있는가?
• RQ2 학습된 연속적 해시 분포를 균일한 이산 분포와 매칭시키는 것이 기존의 다중 손실 양자화 기법에 비해 향상된 검색 성능을 이끌어내는가?
• RQ3 이산 해시 코드 최적화에 대해 이론적으로 타당하고 계산적으로 효율적인 분포 거리 측정법을 설계할 수 있는가?
• RQ4 HSWD 방법은 표준 SWD와 기존의 양자화 손실에 비해 훈련 시간과 검색 정확도 측면에서 효율성과 성능 면에서 어떻게 비교되는가?
• RQ5 제안된 방법이 다양한 깊이 학습 해싱 모델과 벤치마크 데이터셋에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 모든 평가된 데이터셋(CIFAR-10, NUS-WIDE, COCO)에서 HSWD 기반 양자화 방법은 원본 방법 대비 1에포크당 훈련 시간을 최대 40% 감소시키고, SWD 기반 양자화 대비 20–30% 감소시킨다.
• 모든 평가된 데이터셋에서 연속적 코드와 이산 복사본 사이의 각도를 측정한 결과, 양자화 오차가 유의미하게 감소하였다. t-SNE 시각화를 통한 확인 결과도 이와 일치한다.
• 비트 엔트로피 분석 결과, HSWD는 기준 방법보다 항상 더 균형 잡힌 해시 코드(높은 엔트로피)를 생성하여 분포 균일성의 향상을 나타낸다.
• CSQ와 DCH와 같은 여러 최신 해싱 모델의 검색 성능은 HSWD를 양자화 손실로 사용할 경우 향상되었으며, mAP 및 리콜 지표에서 일관된 성능 향상이 관찰되었다.
• 16비트 해시 코드의 정성적 t-SNE 시각화 결과, 표준 양자화 및 SWD 대비 HSWD가 더 우수한 클래스 간 분리도와 클래스 내 응집도를 보였다.
• 다양한 히우리스틱 손실 항목을 하나의 이론적으로 타당한 분포 거리 목표로 대체함으로써 초모수 튜닝의 필요성을 줄였다.

((a)) HashNet (mAP: 0.7208)