[논문 리뷰] Asymmetric Deep Supervised Hashing

Qing-Yuan Jiang, Wu-Jun Li|arXiv (Cornell University)|2017. 07. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 대규모 근사 근접 이웃 검색을 위한 새로운 딥러닝 방법인 비대칭 딥 감독 해싱(ADSH)을 제안한다. 이 방법은 쿼리 및 데이터베이스 포인트를 비대칭적으로 다루며, 쿼리 포인트에 대해서만 딥 해싱 함수를 학습하고 데이터베이스 포인트의 이진 코드를 직접 최적화한다. 이러한 설계 덕분에 대칭 딥 해싱 방법에 비해 훨씬 빠른 훈련 속도와 뛰어난 성능을 달성하며, CIFAR-10 및 NUS-WIDE와 같은 대규모 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Hashing has been widely used for large-scale approximate nearest neighbor search because of its storage and search efficiency. Recent work has found that deep supervised hashing can significantly outperform non-deep supervised hashing in many applications. However, most existing deep supervised hashing methods adopt a symmetric strategy to learn one deep hash function for both query points and database (retrieval) points. The training of these symmetric deep supervised hashing methods is typically time-consuming, which makes them hard to effectively utilize the supervised information for cases with large-scale database. In this paper, we propose a novel deep supervised hashing method, called asymmetric deep supervised hashing (ADSH), for large-scale nearest neighbor search. ADSH treats the query points and database points in an asymmetric way. More specifically, ADSH learns a deep hash function only for query points, while the hash codes for database points are directly learned. The training of ADSH is much more efficient than that of traditional symmetric deep supervised hashing methods. Experiments show that ADSH can achieve state-of-the-art performance in real applications.

연구 동기 및 목표

• 데이터베이스 크기에 따라 제곱적으로 증가하는 대칭 딥 감독 해싱 방법의 높은 계산 비용을 해결하기 위해.
• 학습된 해싱 함수를 통해 생성하는 대신, 데이터베이스 포인트의 이진 해싱 코드를 직접 학습하여 검색 정확도를 향상시키기 위해.
• 훈련을 위해 서브셋을 샘플링할 필요 없이 대규모 데이터베이스에서 효율적인 훈련을 가능하게 하기 위해.
• 쿼리 및 데이터베이스 포인트를 다르게 다루는 비대칭 학습의 효과성을 탐구하기 위해.
• 최소한의 훈련 오버헤드로 실세계 응용에서 최신 기준 성능을 달성하기 위해.

제안 방법

• ADSH는 쿼리 포인트에 대해서만 딥 신경망을 훈련하고, 데이터베이스 포인트는 직접 최적화를 통해 이진 해싱 코드를 할당하는 비대칭 아키텍처를 사용한다.
• 이 방법은 쿼리 포인트의 딥 신경망과 데이터베이스 포인트의 이진 코드를 함께 최적화하는 학습 목표를 설정하며, 쌍별 또는 트리플릿 감독을 사용한다.
• 이진 코드 최적화를 위해 비트 단위 학습 전략을 사용하며, 이는 쿼리 네트워크를 통해 생성하는 것보다 더 정확한 것으로 경험적으로 입증되었다.
• 쿼리 함수와 데이터베이스 코드의 학습을 분리함으로써 훈련 비용을 O(n²)에서 O(n)으로 감소시켜 전체 데이터베이스 훈련을 가능하게 한다.
• 딥 특징 학습과 해싱 코드 최적화를 모두 안내하기 위해 감독 정보(예: 쌍별 또는 트리플릿 레이블)를 활용한다.
• 유사한 샘플이 유사한 해싱 코드로 매핑되도록 보장하기 위해 마진 기반 손실 함수를 사용하여 검색 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 감독 해싱에서 비대칭 학습이 검색 정확도를 유지하거나 향상시키면서도 더 빠른 훈련을 가능하게 할 수 있는가?
• RQ2 학습된 해싱 함수를 통해 생성하는 대신, 데이터베이스 포인트의 이진 해싱 코드를 직접 최적화하면 더 나은 성능을 얻을 수 있는가?
• RQ3 ADSH는 계산 비용이 금방 커지지 않도록 전체 데이터베이스를 훈련에 효과적으로 활용할 수 있는가?
• RQ4 대규모 데이터셋에서 대칭 딥 해싱 방법과 비교해 ADSH는 정확도와 훈련 효율성 측면에서 어떻게 다른가?
• RQ5 비대칭 설계가 실세계 응용에서 대칭 딥 해싱에 비해 타당하고 우수한 대안이 될 수 있는가?

주요 결과

• ADSH는 CIFAR-10 및 NUS-WIDE 데이터셋 모두에서 최신 기준 평균 평균 정밀도(MAP)를 달성하며, DSH, DHN, DPSH를 포함한 모든 베이스라인을 앞서 간다.
• 48비트 코드를 사용한 CIFAR-10에서 ADSH는 MAP 0.9074를 기록하여 DPSH(0.8216)와 DSH(0.7844)보다 뚜렷이 높다.
• 48비트 코드를 사용한 NUS-WIDE에서 ADSH는 MAP 0.9074를 기록하며, 다음으로 우수한 베이스라인인 COSDISH-D(0.8670)를 뛰어넘었다.
• 전체 데이터베이스를 사용할 경우, ADSH는 대칭 딥 해싱 베이스라인 대비 최대 10배 빠른 훈련 속도를 보이며, 데이터셋 크기가 커짐에 따라 훈련 시간이 느리게 증가한다.
• NUS-WIDE 전체 데이터베이스(10,500개 샘플)를 사용할 때, ADSH는 10시간 이내에 더 높은 정확도를 달성하지만, 대칭 방법은 샘플된 서브셋을 사용해도 수렴하는 데 10시간 이상이 소요된다.
• 제거 분석 결과, 쿼리 네트워크를 통해 생성하는 것보다 직접 데이터베이스 코드를 학습하는 방식(ADSH-D)이 더 정확한 것으로 확인되어 비대칭 설계의 타당성이 입증되었다.