[논문 리뷰] CIMON: Towards High-quality Hash Codes

Xiao Luo, Daqing Wu외 7명|arXiv (Cornell University)|2020. 10. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 7

한 줄 요약

CIMON은 전이 학습된 모델의 표현 능력이 제한되어 발생하는 국소 유사도 구조의 노이즈와 신뢰성 부족 문제를 해결하기 위해 글로벌 보정과 신뢰도 기반 유사도 가중치를 통합한 새로운 비지도 해싱 방법을 제안한다. 이는 신뢰할 수 있는 의미적 가이던스를 제공하며, 의미적 및 대비적 일관성 학습 프레임워크를 통해 모델의 강건성과 구분 능력을 향상시킨다. CIFAR-10, NUS-WIDE, MS-COCO 등의 벤치마크 데이터셋에서 최고 성능을 기록하며 뛰어난 검색 정확도와 간섭에 대한 내성 특성을 확보한다.

ABSTRACT

Recently, hashing is widely used in approximate nearest neighbor search for its storage and computational efficiency. Most of the unsupervised hashing methods learn to map images into semantic similarity-preserving hash codes by constructing local semantic similarity structure from the pre-trained model as the guiding information, i.e., treating each point pair similar if their distance is small in feature space. However, due to the inefficient representation ability of the pre-trained model, many false positives and negatives in local semantic similarity will be introduced and lead to error propagation during the hash code learning. Moreover, few of the methods consider the robustness of models, which will cause instability of hash codes to disturbance. In this paper, we propose a new method named { extbf{C}}omprehensive s{ extbf{I}}milarity { extbf{M}}ining and c{ extbf{O}}nsistency lear{ extbf{N}}ing (CIMON). First, we use global refinement and similarity statistical distribution to obtain reliable and smooth guidance. Second, both semantic and contrastive consistency learning are introduced to derive both disturb-invariant and discriminative hash codes. Extensive experiments on several benchmark datasets show that the proposed method outperforms a wide range of state-of-the-art methods in both retrieval performance and robustness.

연구 동기 및 목표

• 전이 학습된 모델의 표현 능력이 제한되어 발생하는 비지도 해싱에서의 노이즈가 많고 신뢰할 수 없는 국소 유사도 구조 문제를 해결하기 위해.
• 유사도 행렬 내 잘못된 양성 및 음성 예측를 보정하여 해싱 코드 학습 중 오류 전파를 줄이기 위해.
• 이미지 변형이나 노이즈가 가해져도 안정성을 유지하는 간섭에 강인한 해싱 코드를 학습하기 위해.
• 의미적 및 대비적 일관성 학습을 통합하여 해싱 코드의 구분 능력을 향상시키기 위해.
• 비트 용량을 극대화하고 균일하게 분포된, 정보가 풍부한 이진 코드를 생성하여 전체 비트 용량을 효과적으로 활용하기 위해.

제안 방법

• CIMON은 서로 다른 클래스의 경계점 간 잘못된 유사도 신호를 보정하기 위해 글로벌 보정을 적용하여 初기 유사도 그래프의 신뢰성을 향상시킨다.
• 유사도의 통계적 분포를 기반으로 한 신뢰도 기반 가중치를 도입하여 불확실한 쌍의 영향을 줄이고, 유사도 행렬을 스무딩한다.
• 데이터 증강을 통해 각 이미지의 두 개의 뷰를 생성하여, 뷰 간 병렬적이고 교차적인 의미적 일관성 학습을 가능하게 한다.
• 딥 페처 간 의미적 일관성과 해싱 코드 간 대비 일관성을 동시에 강제하는 새로운 일관성 손실을 설계한다.
• 유사도 보존과 대비 학습을 결합한 손실 함수를 통해 구분 능력이 뛰어나고 강인한 해싱 코드를 생성한다.
• 보정된 유사도 가이던스와 일관성 학습 목표를 융합한 하이브리드 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 표현 능력이 제한된 전이 학습된 모델을 사용할 때, 비지도 해싱에서 초기 유사도 구조의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 유사도 쌍에 대한 신뢰도 기반 가중치 적용이 해싱 코드 학습 중 오류 전파를 어느 정도 줄일 수 있는가?
• RQ3 의미적 및 대비적 일관성 학습을 병행하면 이미지 흐린 또는 변형에 대한 해싱 코드의 강건성이 향상되는가?
• RQ4 제안된 방법은 노이즈에 대한 안정성과 검색 정확도 면에서 기존 최고 수준의 비지도 해싱 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법은 해싱 코드의 비트 활용도와 분포 균일성 측면에서 더 나은 성능을 내는가?

주요 결과

• CIFAR-10에서 128비트 기준 평균 평균 정밀도(mAP)가 0.4981을 기록하여 최고의 베이스라인(0.4506)을 크게 앞서며 새로운 SOTA를 수립했다.
• NUS-WIDE와 MS-COCO에서 모든 비트 길이에서 SOTA mAP 성능을 기록하며 일관된 우수성을 입증했다.
• 질의 이미지에 노이즈를 추가한 후 CIMON의 mAP 감소폭은 0.012에 그쳤지만, 베이스라인인 MLS 3 RUDH는 0.048 감소를 보여 더 뛰어난 강건성을 입증했다.
• 노이즈 상황에서 해싱 코드의 변경 비트 수는 CIMON의 평균 약 1.5로 MLS 3 RUDH의 약 3.5보다 현저히 낮아 간섭에 강인함을 시사한다.
• CIMON의 해싱 비트 분포는 균일 분포에 근접하여 전체 비트 용량을 효과적으로 활용하고 중복을 줄였음을 확인했다.
• 절단 실험 결과, 글로벌 보정, 신뢰도 가중치, 의미적 일관성, 대비 일관성 각 구성 요소가 성능 향상에 점진적으로 기여하며, 전체 모델이 최고의 성능을 기록함을 입증했다.