[논문 리뷰] Embedding Expansion: Augmentation in Embedding Space for Deep Metric Learning

Byungsoo Ko, Geonmo Gu|arXiv (Cornell University)|2020. 03. 05.

Face recognition and analysis참고 문헌 11인용 수 7

한 줄 요약

이 논문은 딥 메트릭 학습을 위한 임bedding 공간 내에서 단순하면서도 효과적인 데이터 증강 기법인 임베딩 확장(EE)을 제안한다. 동일 클래스의 쌍을 기반으로 선형 보간을 통해 합성 포인트를 생성하고 하드 네거티브 마이닝을 수행함으로써, 추가 네트워크 없이도 성능을 향상시키며, 최소한의 계산 비용으로 이미지 검색 및 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning the distance metric between pairs of samples has been studied for image retrieval and clustering. With the remarkable success of pair-based metric learning losses, recent works have proposed the use of generated synthetic points on metric learning losses for augmentation and generalization. However, these methods require additional generative networks along with the main network, which can lead to a larger model size, slower training speed, and harder optimization. Meanwhile, post-processing techniques, such as query expansion and database augmentation, have proposed the combination of feature points to obtain additional semantic information. In this paper, inspired by query expansion and database augmentation, we propose an augmentation method in an embedding space for pair-based metric learning losses, called embedding expansion. The proposed method generates synthetic points containing augmented information by a combination of feature points and performs hard negative pair mining to learn with the most informative feature representations. Because of its simplicity and flexibility, it can be used for existing metric learning losses without affecting model size, training speed, or optimization difficulty. Finally, the combination of embedding expansion and representative metric learning losses outperforms the state-of-the-art losses and previous sample generation methods in both image retrieval and clustering tasks. The implementation is publicly available.

연구 동기 및 목표

• 기존의 데이터 증강 방법이 추가 생성 네트워크가 필요하여 모델 크기와 학습 복잡도가 증가하는 데 기인한 한계를 해결하기 위해.
• 단순한 선형 보간을 사용하여 임베딩 공간 내에서 정보가 풍부한 합성 샘플을 생성함으로써 메트릭 학습의 일반화 능력과 성능을 향상시키기 위해.
• 추가 모델 용량이나 최적화 난이도 없이도 효과적인 하드 네거티브 마이닝을 가능하게 하기 위해.
• 기존의 쌍 기반 메트릭 학습 손실과 호환되는 즉시 사용 가능한 증강 방법을 제공하기 위해.
• 아키텍처 변경 없이도 이미지 검색 및 클러스터링 작업에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 동일 클래스의 샘플 쌍 간의 선형 보간을 수행하여 합성 임베딩 포인트를 생성하며, 선분을 n+1개의 동일한 부분으로 나누어 n개의 합성 포인트를 생성한다.
• 기존 포인트와 합성 포인트의 모든 조합에 대해 하드 네거티브 쌍 마이닝을 적용하여 학습에 가장 도전적인 네거티브 쌍을 선택한다.
• 이 방법은 생성 네트워크나 복잡한 연산 없이도 임베딩 공간 내에서만 작동하므로 별도의 생성 모델이 필요하지 않다.
• 삼중체 손실, N-쌍 손실, 업로드된 구조적 손실, MS 손실과 같은 임의의 쌍 기반 메트릭 학습 손실과 호환된다.
• 합성 포인트 생성이 간단한 선형 대수학에 의존하므로 계산 비용이 극히 낮으며, 부가적인 오버헤드가 거의 없다.
• 최종 모델은 기본 모델과 동일한 아키텍처와 학습 파이프라인을 유지하며, 손실 계산만 합성 포인트를 포함하도록 수정된다.

실험 결과

연구 질문

• RQ1 임베딩 공간 내에서 선형 보간을 통한 공간 내 데이터 증강이 모델 파rameter를 추가하지 않으면서도 메트릭 학습 성능을 향상시킬 수 있는가?
• RQ2 동일 클래스 쌍에서 합성 포인트를 생성하고 그들 사이에서 하드 네거티브를 마이닝하는 것이 기존 학습 방식보다 더 나은 일반화를 이끌어낼 수 있는가?
• RQ3 GAN이나 오토에코더에 의존하는 기존의 샘플 생성 기법과 비교할 때, 성능과 효율성 측면에서 본 방법은 어떠한가?
• RQ4 이 방법은 다양한 쌍 기반 메트릭 학습 손실에 대해 일관된 성능 향상을 제공할 수 있는가?
• RQ5 성능 향상은 합성 포인트의 수에 따라 증가하는가? 그리고 계산 비용은 관리 가능한가?

주요 결과

• 임베딩 확장은 평가된 모든 메트릭 학습 손실에서 성능 향상을 크게 이끌어내며, 최적의 조합(EE + MS 손실)이 스탠포드 온라인 제품 데이터셋에서 NMI 63.3%와 Recall@1 46.1%를 달성한다.
• CARS196 데이터셋에서 EE + MS 손실은 기준 삼중체 손실 대비 Recall@1에서 12.1% 향상되고 NMI에서 7.4% 향상된다.
• DAML 및 HDML과 같은 이전의 샘플 생성 방법보다 모든 벤치마크에서 성능이 뛰어나며, SOP와 같은 대규모 데이터셋에서도 추가 생성 네트워크를 사용하는 방법들조차도 앞선다.
• 합성 포인트 생성에 따른 계산 오버헤드는 극히 낮으며, 배치당 n=32개의 합성 포인트 생성에 0.0023ms의 추가 시간만 소요되며, 표 1에 나타나 있다.
• CUB200-2011, CARS196, SOP 등의 다양한 데이터셋과 검색 및 클러스터링 등의 작업에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 입증한다.
• 대규모 데이터셋에서 카테고리 수가 많을수록 성능 향상이 두드러지며, 이는 EE가 높은 변동성이 있는 환경에서 합성 포인트로부터 의미 정보를 효과적으로 활용함을 시사한다.