[논문 리뷰] Signal-to-Noise Ratio: A Robust Distance Metric for Deep Metric Learning

Tongtong Yuan, Weihong Deng외 3명|arXiv (Cornell University)|2019. 04. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 딥 메트릭 러닝에서 유클리드 거리의 대체로 신호 대 잡음비(SNR)-기반의 거리 측도를 제안하며, 내부 클래스 간 거리 감소와 외부 클래스 간 거리 증가를 동시에 고려함으로써 특징의 구분 능력을 향상시킨다. 이 방법, 딥 SNR 기반 메트릭 러닝(Deep SNR-based Metric Learning, DSML)은 CARS196, CUB200-2011, CIFAR10 등의 이미지 클러스터링 및 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, CIFAR10과 NUS-WIDE에서 DSNRH를 통해 딥 해싱 성능 향상도 이루어졌다.

ABSTRACT

Deep metric learning, which learns discriminative features to process image clustering and retrieval tasks, has attracted extensive attention in recent years. A number of deep metric learning methods, which ensure that similar examples are mapped close to each other and dissimilar examples are mapped farther apart, have been proposed to construct effective structures for loss functions and have shown promising results. In this paper, different from the approaches on learning the loss structures, we propose a robust SNR distance metric based on Signal-to-Noise Ratio (SNR) for measuring the similarity of image pairs for deep metric learning. By exploring the properties of our SNR distance metric from the view of geometry space and statistical theory, we analyze the properties of our metric and show that it can preserve the semantic similarity between image pairs, which well justify its suitability for deep metric learning. Compared with Euclidean distance metric, our SNR distance metric can further jointly reduce the intra-class distances and enlarge the inter-class distances for learned features. Leveraging our SNR distance metric, we propose Deep SNR-based Metric Learning (DSML) to generate discriminative feature embeddings. By extensive experiments on three widely adopted benchmarks, including CARS196, CUB200-2011 and CIFAR10, our DSML has shown its superiority over other state-of-the-art methods. Additionally, we extend our SNR distance metric to deep hashing learning, and conduct experiments on two benchmarks, including CIFAR10 and NUS-WIDE, to demonstrate the effectiveness and generality of our SNR distance metric.

연구 동기 및 목표

• 유클리드 거리가 특징 상관관계를 유지하지 못하고 강인성이 부족한 점을 해결하기 위해.
• 신호 처리 이론에 기반한 새로운 거리 측도를 설계하여 학습된 특징에서 의미적 유사도를 더 잘 반영하기 위해.
• SNR 기반 측도의 효과성과 일반화 능력을 다양한 딥 메트릭 러닝 및 해싱 작업에 걸쳐 입증하기 위해.
• SNR 측도가 유클리드 거리보다 내부 클래스 분산 최소화와 외부 클래스 간 분리 최대화를 더 효과적으로 달성할 수 있음을 보여주기 위해.

제안 방법

• 쌍체의 임bedding에서 특징 분산 대 잡음 분산의 비율로 정의된 신호 대 잡음비(SNR) 기반의 새로운 거리 측도를 제안.
• 기하학적 및 통계적 분석을 통해 이론적으로 SNR 측도의 강인성 향상과 상관관계 유지 능력을 입증하며 유클리드 거리보다 우수함을 보임.
• SNR 측도를 딥 메트릭 러닝 프레임워크에 통합하여 구분 능력 있는 임베딩을 학습하기 위한 새로운 목적 함수를 수립.
• 대조 또는 트리플릿 유사한 손실 함수에서 유클리드 거리를 SNR 측도로 대체하는 Deep SNR-based Metric Learning(기본 DSML)을 개발.
• 실수값 SNR 최적화 특징에 부호 함수를 적용하여 딥 해싱에 SNR 측도를 확장, 이진 코드 학습 가능하게 구현.
• 이미지 데이터셋 학습을 위해 CNN-F 네트워크 아키텍처와 관성 항법을 적용한 확률적 경사 하강법을 사용.

실험 결과

연구 질문

• RQ1 SNR는 딥 메트릭 러닝에서 유클리드 거리보다 더 강인하고 정보적인 거리 측도로 기능할 수 있는가?
• RQ2 SNR 기반 측도는 학습된 특징 공간에서 내부 클래스의 응집성과 외부 클래스의 분리도를 향상시키는가?
• RQ3 SNR 측도는 메트릭 러닝과 딥 해싱 검색 작업 모두에 효과적으로 일반화되는가?
• RQ4 표준 벤치마크에서 SNR 기반 측도는 최신 기술 수준의 딥 메트릭 러닝 방법보다 우수한가?

주요 결과

• DSML은 CARS196, CUB200-2011, CIFAR10에서 이미지 클러스터링 및 검색 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 대조, 트리플릿, N-패어 손실 기반 방법들을 모두 능가.
• CIFAR10에서 DSML은 유클리드 거리 및 해밍 순위 전략 모두에서 뛰어난 검색 정확도를 확보하였으며, MAP 결과가 기준 방법들보다 유의미하게 높았다.
• t-SNE 시각화 결과, DSML은 유클리드 거리 기반 대조 방법에 비해 더 구분 능력 있고 잘 분리된 특징 클러스터를 생성함을 확인.
• 제안된 DSNRH 방법은 CIFAR10과 NUS-WIDE에서 모든 테스트된 해싱 기반 방법들 중에서 가장 높은 MAP@50000 성능을 기록하였으며, 양 데이터셋에서 평균 MAP가 60%를 초월함.
• 특징 공간 분석을 통해 SNR 측도가 유클리드 거리보다 내부 클래스 거리 감소와 외부 클래스 거리 증가를 더 효과적으로 줄임을 검증.
• SNR 기반 측도는 다양한 딥 러닝 작업(메트릭 러닝 및 해싱 포함)에서 높은 일반화 능력을 보이며 일관된 높은 성능 유지.