[논문 리뷰] Ternary Hashing

Chang Liu, Lixin Fan외 6명|arXiv (Cornell University)|2021. 03. 16.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 약근접근법에서 이웃 관계의 모호함을 줄이기 위해 이진 코드 대신 삼진수 코드(+1, 0, -1)를 사용하는 새로운 딥러닝 방법인 Ternary Hashing를 제안한다. 이중 임계값 전략을 도입하고, Łukasiewicz 및 Kleene 논리로 삼진수 해밍 거리를 모델링하여, 양성 및 음성 샘플 간의 평균 거리를 증가시켜, CIFAR-10, NUS-WIDE 및 ImageNet100 벤치마크에서 검색 정확도를 향상시킨다.

ABSTRACT

This paper proposes a novel ternary hash encoding for learning to hash methods, which provides a principled more efficient coding scheme with performances better than those of the state-of-the-art binary hashing counterparts. Two kinds of axiomatic ternary logic, Kleene logic and Łukasiewicz logic are adopted to calculate the Ternary Hamming Distance (THD) for both the learning/encoding and testing/querying phases. Our work demonstrates that, with an efficient implementation of ternary logic on standard binary machines, the proposed ternary hashing is compared favorably to the binary hashing methods with consistent improvements of retrieval mean average precision (mAP) ranging from 1\% to 5.9\% as shown in CIFAR10, NUS-WIDE and ImageNet100 datasets.

연구 동기 및 목표

• 이진 해싱을 넘어서 해싱 기반 검색에서 이웃 관계의 모호함을 줄이기 위해.
• 해밍 공간에서 양성 및 음성 샘플 간의 거리 분리도를 향상시키기 위해.
• 삼진수 코드를 사용하는 기울기 역전파가 가능한 종단 간 훈련이 가능한 해싱 프레임워크를 설계하기 위해.
• 기존의 이진 해싱 방법에 비해 삼진수 해싱의 우수성을 실증적으로 검증하기 위해.
• 내부 및 외부 클래스 유사도를 위한 삼진수 해밍 거리 기대값을 기반으로 한 새로운 목적 함수를 도입하기 위해.

제안 방법

• {+1, 0, -1}의 트리트 사이의 유사도를 모델링하기 위해 Łukasiewicz 및 Kleene 논리 기반 삼진수 해밍 거리(THD)를 제안한다.
• 삼진수 코드 위의 확률 분포를 사용하여 두 샘플 집합 간의 기대 삼진수 해밍 거리를 정의한다.
• 모든 클래스 쌍에 걸쳐 기대 삼진수 해밍 거리의 기대값을 기반으로 한 기울기 역전파가 가능한 목적 함수를 사용한다.
• SGD 및 Adam 최적화 기법을 사용하여 종단 간 훈련이 가능한 딥 신경망에 이 방법을 적용한다.
• P_T, P_U, P_F는 각각 코드에 +1, 0, -1을 할당할 확률을 나타내는 확률적 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 삼진수 해싱는 이진 해싱에 비해 검색 작업에서 이웃 관계의 모호함을 줄일 수 있는가?
• RQ2 양성 및 음성 샘플 간의 기대 삼진수 해밍 거리는 이진 해싱에 비해 어떻게 다른가?
• RQ3 실수값 출력을 삼진수 코드로 매핑하기 위한 최적의 임계값 설정은 무엇인가?
• RQ4 논리 기반 거리 측정 방식을 사용하는 삼진수 코드는 표준 벤치마크에서 검색 성능을 향상시키는가?
• RQ5 삼진수 해밍 거리 기대값을 기반으로 한 제안된 목적 함수는 모델 수렴도와 정확도에 어떤 영향을 미치는가?

주요 결과

• Figure 3(b)에서 보듯이, 삼진수 해싱는 양성 및 음성 샘플 간의 기대 해밍 거리를 증가시켜 이웃 관계의 모호함을 줄인다.
• 삼진수 코드에서 UNKNOWN 상태(0)의 사용은 양성 및 음성 거리 분포 간의 겹침을 감소시켜 검색 신뢰도를 향상시킨다.
• CIFAR-10, NUS-WIDE 및 ImageNet100에서 기존의 여섯 가지 이진 해싱 기반 베이스라인에 비해 더 나은 검색 성능을 달성한다.
• 이중 임계값 검색 알고리즘은 삼진수 해밍 거리 기대값을 기반으로 한 목적 함수를 최대화하는 최적의 임계값을 성공적으로 식별한다.
• Łukasiewicz 및 Kleene 논리 모델 기반의 기대 삼진수 해밍 거리는 이진 해밍 거리보다 더 세밀한 유사도 측정을 가능하게 한다.
• 실증 결과에 따르면, 적절한 임계값 설정을 갖춘 삼진수 코드는 해밍 거리 분포에 상당한 이동을 유도한다—양성 샘플은 왼쪽으로, 음성 샘플은 오른쪽으로 이동하여 겹침을 감소시킨다.