[논문 리뷰] Local Similarity-Aware Deep Feature Embedding

Chen Huang, Chen Change Loy외 1명|arXiv (Cornell University)|2016. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 116

한 줄 요약

로컬 특징 구조에 적응하는 Position-Dependent Deep Metric (PDDM)을 도입하여 온라인 하드 샘플 마이닝과 메트릭-임베딩의 공동 학습을 통해 향상된 딥 피처 임베딩을 가능하게 한다.

ABSTRACT

Existing deep embedding methods in vision tasks are capable of learning a compact Euclidean space from images, where Euclidean distances correspond to a similarity metric. To make learning more effective and efficient, hard sample mining is usually employed, with samples identified through computing the Euclidean feature distance. However, the global Euclidean distance cannot faithfully characterize the true feature similarity in a complex visual feature space, where the intraclass distance in a high-density region may be larger than the interclass distance in low-density regions. In this paper, we introduce a Position-Dependent Deep Metric (PDDM) unit, which is capable of learning a similarity metric adaptive to local feature structure. The metric can be used to select genuinely hard samples in a local neighborhood to guide the deep embedding learning in an online and robust manner. The new layer is appealing in that it is pluggable to any convolutional networks and is trained end-to-end. Our local similarity-aware feature embedding not only demonstrates faster convergence and boosted performance on two complex image retrieval datasets, its large margin nature also leads to superior generalization results under the large and open set scenarios of transfer learning and zero-shot learning on ImageNet 2010 and ImageNet-10K datasets.

연구 동기 및 목표

• 딥 임베딩에서 전역 유클리드 거리 대신 로컬 적응형 유사도 메트릭의 필요성을 제시한다.
• 특징 차이 및 절대 위치를 이용해 로컬 메트릭을 학습하는 플러그형 PDDM 유닛을 제안한다.
• 대규모 마진의 더블 헤더 힌지 손실을 통해 PDDM 메트릭과 임베딩을 함께 최적화한다.
• 로컬 유사도 인식 임베딩이 파인그레이드 데이터셋에서 검색 성능을 향상시키고 전이/제로샷 설정으로 일반화됨을 보인다.

제안 방법

• Position-Dependent Deep Metric (PDDM)을 제안하며, 입력으로 u = |f(x_i)-f(x_j)| 및 v = (f(x_i)+f(x_j))/2와 같은 특징 차이와 특징 평균을 사용한다.
• 전용 완전연결층을 통해 두 개의 분리된 변환 표현 u′와 v′를 계산하고, 이어서 연결(concatenation)과 최종 점수 계층을 통해 S_i,j를 산출한다.
• 처리 전에 특징을 단위 초구로 정규화하여 비교 가능하도록 한다.
• 임베딩 CNN과 함께 엔드-투-엔드로 PDDM을 학습하며, 사중쌍(quadruplets) 간 매개변수를 공유하고 사중쌍 피처에 대해 네 개의 동일한 CNN을 사용한다.
• 더블 헤더 힌지 손실을 도입한다: 미니배치 내의 하드 사중쌍을 사용하여 양성 및 음성 유사도 분포 간의 분리를 최대화하는 메트릭 손실 E_m과, 하드 양성과 하드 음의 특징 거리 사이에 마진을 강제하는 임베딩 손실 E_e.
• 공동 목적 함수는 E_m, E_e 및 네트워크 매개변수에 대한 L2 정규화를 결합하여 메트릭과 임베딩을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 로컬적으로 적응하는 유사도 메트릭이 글로벌 유클리드 거리나 Mahalanobis 거리보다 하드 샘플 마이닝을 개선할 수 있는가?
• RQ2 온라인 PDDM 가이드 하드 샘플 마이닝이 이미지 검색을 위한 수렴 속도와 임베딩 품질을 향상시키는가?
• RQ3 공동으로 학습된 PDDM과 임베딩이 전이 학습 및 제로샷 학습 설정으로 일반화되는가?
• RQ4 점수 수준과 특징 수준 감독의 결합이 임베딩 품질에 유익한가?

주요 결과

• PDDM은 글로벌 유클리드 메트릭보다 더 구분 가능한 유사도 점수 분포를 만들어 하드 샘플 마이닝을 더 잘 가능하게 한다.
• PDDM+Quadruplet 및 PDDM 기반 랭킹은 이전 방법들에 비해 CUB-200-2011 및 CARS196에서 수렴 속도가 빠르고 Recall@K가 높아진다.
• 학습된 임베딩은 어려운 이질적 특징 공간에서도 유클리드 거리 하에서 큰 마진과 견고한 클러스터링을 보인다.
• PDDM과 로컬 유사도 인식 임베딩은 ImageNet-10K에서 전이 학습 성능과 ImageNet-2010에서 제로샷 학습을 여러 기준선보다 향상시킨다.
• PDDM을 통한 하드 사중쌍 마이닝은 거의 선형 배치 복잡도로 계산적으로 효율적이며 밀집한 쌍 간 거리 계산을 피한다.