[논문 리뷰] Contrastive Quantization with Code Memory for Unsupervised Image Retrieval

Jinpeng Wang, Ziyun Zeng외 3명|arXiv (Cornell University)|2021. 09. 11.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

MeCoQ는 레이블이 없는 데이터를 사용하여 이미지 검색 성능을 햖थ하는 데 효과적인 새로운 비지도 딥 양자화 방법을 제안한다. 대조 학습과 새로운 양자화 코드 메모리의 조합을 통해 성능을 향상시키며, 코드워드 다양성 정규화와 저드립트 코드 메모리 기반으로 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 이전 방법보다 평균 MAP 점수를 최대 2.77점 향상시킨다.

ABSTRACT

The high efficiency in computation and storage makes hashing (including binary hashing and quantization) a common strategy in large-scale retrieval systems. To alleviate the reliance on expensive annotations, unsupervised deep hashing becomes an important research problem. This paper provides a novel solution to unsupervised deep quantization, namely Contrastive Quantization with Code Memory (MeCoQ). Different from existing reconstruction-based strategies, we learn unsupervised binary descriptors by contrastive learning, which can better capture discriminative visual semantics. Besides, we uncover that codeword diversity regularization is critical to prevent contrastive learning-based quantization from model degeneration. Moreover, we introduce a novel quantization code memory module that boosts contrastive learning with lower feature drift than conventional feature memories. Extensive experiments on benchmark datasets show that MeCoQ outperforms state-of-the-art methods. Code and configurations are publicly available at https://github.com/gimpong/AAAI22-MeCoQ.

연구 동기 및 목표

• 재구성 기반 비지도 딥 해싱의 한계를 해결하기 위해, 사전 학습된 백본에 크게 의존하고 목표 도메인에서 일반화 성능이 열 劣한 문제를 해결한다.
• 대조 학습 기반 양자화에서 발생하는 샘플링 편향, 모델 열화, 소규모 배치 학습에서의 비효율성 등의 과제를 극복한다.
• 저드립트 코드 메모리 모듈을 설계하여 메모리 기반 대조 학습의 효과성과 효율성을 비지도 양자화에서 향상시킨다.
• 대조 양자화에서 코드워드 다양성 정규화가 모델 열화를 방지하는 데 필수적임을 입증한다.

제안 방법

• 소규모 배치 학습에서의 샘플링 편향를 보정하기 위해, 대규모 데이터나 복잡한 동기화가 필요 없는 비편향 대조 학습 프레임워크를 활용한다.
• 양자화 코드워드 간의 다양성을 명시적으로 장려하기 위해 코드워드 다양성 정규화 항을 도입한다. 이는 표현 붕괴를 방지한다.
• 기존 특징 메모리와는 달리, 양자화된 코드를 저장하고 재사용하는 새로운 양자화 코드 메모리 모듈을 설계한다. 이는 특징 드리프트를 감소시킨다.
• 코드 메모리는 시간에 따라 안정적인 음성 샘플링을 가능하게 하여, 제한된 배치 크기에서도 효과적인 대조 학습을 가능하게 하며, 모멘텀 엔코더 없이도 작동한다.
• 대조 손실과 양자화 손실을 동시에 최적화하며, 코드 메모리는 지속적인 음성 쌍을 제공하여 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 애너테이션 없이도 대조 학습을 비지도 딥 양자화에 효과적으로 적용할 수 있는가?
• RQ2 특히 코드워드 붕괴로 인한 모델 열화를 방지하기 위해 어떻게 조치할 수 있는가?
• RQ3 양자화 코드를 위한 메모리 메커니즘이 특징 메모리보다 안정성과 성능 면에서 뛰어나게 설계될 수 있는가?
• RQ4 코드 메모리의 사용을 지연시키면 학습 안정성과 최종 성능이 향상되는가?

주요 결과

• MeCoQ는 코드워드 다양성 정규화 없이 학습한 경우보다 네 가지 벤치마크 데이터셋에서 평균 MAP 점수를 각각 25.11, 30.34, 29.14, 25.32점 향상시켜 정규화의 효과를 입증한다.
• 코드 메모리가 없는 변형 대비 MeCoQ는 평균 MAP 점수를 2.22~2.77점 향상시키며, 메모리 모듈의 가치를 입증한다.
• 부드러운 코드 메모리(soft code memory)는 특징 드리프트를 감소시키고, 특징 메모리 및 하드 코드 메모리 대비 성능을 향상시킨다. MeCoQ는 특징 메모리 기반 변형보다 평균 MAP 점수를 0.44~2.52점 높게 기록한다.
• 지연된 메모리 사용을 적용한 MeCoQ는 평균 MAP 점수를 0.60~3.36점 향상시키며, 초기 메모리 사용이 비효율적인 표현을 초래함을 시사한다.
• 메모리 크기를 896로 설정할 경우 최적의 균형을 이룬다. 이 이상으로 늘일 경우 특징 드리프트로 인해 수익 감소 현상이 발생한다.
• MeCoQ는 배치 크기를 256으로 늘리는 것보다 훨씬 적은 GPU 메모리(5.9 GB)를 사용하여 뛰어난 성능을 달성함으로써 효율성을 입증한다.