[논문 리뷰] Improved Embeddings with Easy Positive Triplet Mining

Hong Xuan, Abby Stylianou외 1명|arXiv (Cornell University)|2019. 04. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 7

한 줄 요약

이 논문은 학습 중에 각 앵커 이미지당 가장 유사도가 높은(가장 쉬운) 양성 예제를 선택하는 간단하면서도 효과적인 전략인 Easy Positive Triplet Mining을 소개한다. 이는 임베딩의 일반화 성능을 향상시킨다. 모든 양성 예제가 아니라 가장 가까운 양성 예제에 집중함으로써, CUB, SOP, In-Shop, Hotels-50K에서 최신 기술 수준(SOTA) 성능을 달성하며, 복잡한 앙상블 및 손실 기반 방법들을 능가한다.

ABSTRACT

Deep metric learning seeks to define an embedding where semantically similar images are embedded to nearby locations, and semantically dissimilar images are embedded to distant locations. Substantial work has focused on loss functions and strategies to learn these embeddings by pushing images from the same class as close together in the embedding space as possible. In this paper, we propose an alternative, loosened embedding strategy that requires the embedding function only map each training image to the most similar examples from the same class, an approach we call "Easy Positive" mining. We provide a collection of experiments and visualizations that highlight that this Easy Positive mining leads to embeddings that are more flexible and generalize better to new unseen data. This simple mining strategy yields recall performance that exceeds state of the art approaches (including those with complicated loss functions and ensemble methods) on image retrieval datasets including CUB, Stanford Online Products, In-Shop Clothes and Hotels-50K.

연구 동기 및 목표

• 표준 메트릭 학습 목표(모든 내부 클래스 이미지를 하나의 클러스터로 묶는 것)와 실제 쿼리 행동 간의 괴리, 즉 유사도가 가장 높은 예제만 중요시되는 현실을 해결하기 위해.
• 각 앵커에 대해 가장 쉬운 양성 예제에 집중할 경우, 내부 클래스 분산이 큰 임베딩 공간에서 일반화 성능 향상 여부를 조사하기 위해.
• 복잡한 손실 함수 및 앙상블 방법을 대체할 수 있는 집중적이고 유연한 간단한 마이닝 전략을 제안하고 평가하기 위해.

제안 방법

• 배치 내 각 앵커 이미지에 대해 가장 유사도가 높은(가장 가까운) 양성 예제를 선택하여 '쉬운 양성' 트리플릿을 구성한다.
• 표준 트리플릿 손실을 사용하며, 마진 기반 목표 함수를 적용한다: max(0, ||f(x_a) - f(x_p)||_2 - ||f(x_a) - f(x_n)||_2 + margin).
• 어려운 음성 예제와 쉬운 양성 예제를 균형 있게 조절하기 위해, 쉬운 양성 마이닝과 함께 반-하드 음성 마이닝을 사용한다.
• 여러 아키텍처(ResNet18, ResNet50, GoogleNet)와 데이터셋에 걸쳐 학습 전략을 적용하였으며, 그룹 크기와 임베딩 차원에 대한 분석도 수행하였다.
• 모든 내부 클래스 이미지를 하나의 클러스터로 강제로 묶는 것을 피함으로써, 다중 모달 표현을 가능하게 한다.
• CUB, SOP, In-Shop, Hotels-50K, CAR에서 표준 재현율 메트릭(Recall@1, Recall@5, Recall@10)을 사용해 평가하였다.

실험 결과

연구 질문

• RQ1 각 앵커에 대해 가장 쉬운 양성 예제에 집중할 경우, 딥 메트릭 학습에서 일반화 성능 향상 여부는?
• RQ2 Easy Positive 마이닝은 표준 트리플릿 마이닝, Batch All, N-pair, 프록시 기반 방법과 비교해 재현율 성능에서 어떻게 성과를 내는가?
• RQ3 복잡한 앙상블 및 손실 함수 기반 최신 기술 수준(SOTA) 방법을 능가할 수 있는 간단한 마이닝 전략이 내부 클래스 분산이 큰 데이터셋에서 성능을 높일 수 있는가?
• RQ4 Easy Positive 마이닝은 클래스 내 다양한 시각적 외형을 더 잘 반영할 수 있는 더 민첩하고 다중 모달 임베딩을 생성하는가?
• RQ5 Easy Positive 마이닝의 성능는 다양한 네트워크 아키텍처와 임베딩 차원에서 어떻게 변하는가?

주요 결과

• Easy Positive Semi-Hard Negative (EPSHN) 방법은 CUB-200 데이터셋에서 기존 최고 성능인 88.9% Recall@1을 달성하며, ABE 및 DREML과 같은 복잡한 앙상블 방법을 뛰어넘었다.
• 스탠퍼드 온라인 제품(SOP) 데이터셋에서는 최고의 보고된 Recall@1 성능을 기록하며, 대규모이고 높은 분산을 가진 데이터셋에서 강력한 성능을 입증했다.
• In-Shop 옷 및 Hotels-50K 데이터셋에서는 EPSHN 방법이 최신 기술 수준(SOTA) 성능을 달성했으며, Hotels-50K의 정확도는 원래 Batch All 기준선 대비 두 배 이상 향상되었다.
• t-SNE 시각화 결과에 따르면, EPSHN 임베딩은 N-pair 및 Batch All보다 더 넓게 퍼져 있으며, 테스트 데이터 분포와 더 잘 일치함을 보여, 일반화 성능이 뛰어나다는 것을 입증했다.
• CAR 및 CUB 데이터셋에서, ResNet18, ResNet50, GoogleNet 아키텍처 전반에서 EPSHN은 모든 간단한 베이스라인(트리플릿, N-pair, 프록시 손실)을 능가했다.
• 이 방법은 아키텍처와 임베딩 차원에 대해 뛰어난 내성성을 보이며, CUB와 CAR에서는 그룹 크기 16에서 최적 성능를 기록했고, 클래스당 예제 수가 적은 데이터셋에서는 그룹 크기 4에서 최적 성능를 기록했다.