[논문 리뷰] Cross-Scale Context Extracted Hashing for Fine-Grained Image Binary Encoding

Xuetong Xue, Jiaying Shi외 3명|arXiv (Cornell University)|2022. 10. 14.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 양면 구조와 Attention 유도 정보 추출(AIE) 모듈을 갖춘 두 가지 브랜치 아키텍처를 통해 전반적인 의미와 국소적 세부 정보를 동시에 모델링함으로써 세분화된 이미지 검색 성능을 햖थन하는 새로운 딥 해싱 프레임워크인 Cross-Scale Context Extracted Hashing Network(CSCE-Net)을 제안한다. 또한 이중 인코딩 과정에서의 정보 손실을 줄이기 위해 콘텐츠 인식형 동적 부호 함수(DSF)를 도입하여 ImageNet100 및 MS COCO 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Deep hashing has been widely applied to large-scale image retrieval tasks owing to efficient computation and low storage cost by encoding high-dimensional image data into binary codes. Since binary codes do not contain as much information as float features, the essence of binary encoding is preserving the main context to guarantee retrieval quality. However, the existing hashing methods have great limitations on suppressing redundant background information and accurately encoding from Euclidean space to Hamming space by a simple sign function. In order to solve these problems, a Cross-Scale Context Extracted Hashing Network (CSCE-Net) is proposed in this paper. Firstly, we design a two-branch framework to capture fine-grained local information while maintaining high-level global semantic information. Besides, Attention guided Information Extraction module (AIE) is introduced between two branches, which suppresses areas of low context information cooperated with global sliding windows. Unlike previous methods, our CSCE-Net learns a content-related Dynamic Sign Function (DSF) to replace the original simple sign function. Therefore, the proposed CSCE-Net is context-sensitive and able to perform well on accurate image binary encoding. We further demonstrate that our CSCE-Net is superior to the existing hashing methods, which improves retrieval performance on standard benchmarks.

연구 동기 및 목표

• 기존의 해싱 방법이 이진 인코딩 과정에서 부적절한 배경을 억제하고 핵심 의미 정보를 유지하는 데에 한계를 지닌다는 문제를 해결하기 위해.
• 해밍 공간 내 특징 표현을 향상시켜 눈에 띄지 않는 대상이나 복잡한 배경이 있는 경우의 검색 정확도를 높이기 위해.
• 연속적인 특징에서 이진 코드로의 변환 과정에서의 정보 손실을 줄이기 위해.
• 코드 균형과 의미 충실도를 유지하는 컨텍스트 민감형, 적응형 이진 인코딩 메커니즘을 개발하기 위해.

제안 방법

• CSCE-Net은 두 가지 브랜치 네트워크를 활용하여 전반적인 의미 특징과 세분화된 국소적 특징을 동시에 추출한다.
• Attention 유도 정보 추출(AIE) 모듈은 슬라이딩 윈도우를 사용하여 국소적 특징을 전반적 맥락과 정렬함으로써 정보량이 적은 영역을 억제한다.
• AIE 모듈은 다중 스케일 전반적 맥락을 활용하여 국소적 특징을 필터링하고 강화하며, 주목할 만한 객체 영역에 집중한다.
• 표준 부호 함수를 대체하기 위해 엔드 투 엔드로 학습되는 동적 부호 함수(DSF)가 도입된다.
• 모델은 코사인 마진 소프트맥스(CosFace)를 통한 메트릭 학습과 DSF를 포함한 양자화 손실을 조합한 손실 함수로 훈련된다.
• 삼중 체계 기반 대비 손실과 코드 균형 정규화를 조합하여 프레임워크를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 해싱 모델은 이중 코드에 핵심 의미 정보를 잘 유지하면서도 부적절한 배경을 효과적으로 억제할 수 있는가?
• RQ2 고정된 부호 함수에 비해 학습 가능한 콘텐츠 적응형 부호 함수는 이진 인코딩 정확도를 향상시킬 수 있는가?
• RQ3 주의 기반 필터링을 통한 크로스스케일 특징 융합은 세분화된 이미지 데이터셋에서 검색 성능을 얼마나 향상시키는가?
• RQ4 정보 손실이 가장 심각한 저비트 인코딩(예: 16비트) 환경에서도 제안된 방법이 뛰어난 성능을 유지하는가?

주요 결과

• CSCE-Net은 16-, 32-, 64비트 코드에 대해 각각 ImageNet100에서 mAP 0.869, 0.887, 0.897의 최신 기준 성능을 달성한다.
• MS COCO에서는 16-, 32-, 64비트 코드에 대해 각각 mAP 0.807, 0.852, 0.888을 기록하여 이전 방법들을 능가한다.
• AIE 모듈은 기준 모델 대비 16비트 코드에서 ImageNet100에서 mAP 3% 향상, MS COCO에서는 7% 향상시켰다.
• 동적 부호 함수(DSF)는 정보 손실을 줄이며, 표준 양자화 손실 대비 mAP 0.007 향상 효과를 보였다.
• CosFace 손실과 DSF의 조합이 가장 뛰어난 성능을 내어, 적응형 양자화와 함께 메트릭 학습의 효과를 확인했다.
• 절단 실험 결과 AIE는 단순 연결 또는 단일 스케일 슬라이딩 윈도우 접근 방식보다 mAP 기준 1~3% 높은 성능을 보였다.