[논문 리뷰] Smart Mining for Deep Metric Learning

Ben Harwood, Vijay Kumar B G외 3명|arXiv (Cornell University)|2017. 04. 05.

Face recognition and analysis참고 문헌 22인용 수 43

한 줄 요약

이 논문은 효율적이고 저비용의 샘플링을 사용하여 어려운 양성 및 음성 샘플을 선택함으로써 트리플릿 손실과 글로벌 손실을 결합하는 스마트 마이닝 방법을 제안한다. 이는 학습 수렴 속도를 가속화한다. 이 방법은 자동으로 마이닝 하이퍼파라미터를 조정하는 적응형 컨트롤러를 도입하여 CUB-200-2011과 Cars196에서 기존 방법보다 더 빠르고 정확한 학습을 통해 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

To solve deep metric learning problems and producing feature embeddings, current methodologies will commonly use a triplet model to minimise the relative distance between samples from the same class and maximise the relative distance between samples from different classes. Though successful, the training convergence of this triplet model can be compromised by the fact that the vast majority of the training samples will produce gradients with magnitudes that are close to zero. This issue has motivated the development of methods that explore the global structure of the embedding and other methods that explore hard negative/positive mining. The effectiveness of such mining methods is often associated with intractable computational requirements. In this paper, we propose a novel deep metric learning method that combines the triplet model and the global structure of the embedding space. We rely on a smart mining procedure that produces effective training samples for a low computational cost. In addition, we propose an adaptive controller that automatically adjusts the smart mining hyper-parameters and speeds up the convergence of the training process. We show empirically that our proposed method allows for fast and more accurate training of triplet ConvNets than other competing mining methods. Additionally, we show that our method achieves new state-of-the-art embedding results for CUB-200-2011 and Cars196 datasets.

연구 동기 및 목표

• 대부분의 기울기가 0에 가까워서 트리플릿 기반 딥 메트릭 러닝의 수렴 속도가 느린 문제를 해결하기 위해.
• 대규모 데이터셋에서 어려운 음성/양성 샘플 마이닝의 높은 계산 비용을 극복하기 위해.
• 트리플릿 손실과 글로벌 손실 함수를 결합하여 학습 효율성과 임bedding 품질을 향상시키기 위해.
• 스토케스틱한 언더샘플링에 의존하지 않고 효과적인 어려운 샘플을 효율적으로 식별하는 스마트 샘플링 전략을 개발하기 위해.
• 마이닝 하이퍼파라미터를 자동으로 조정하여 수렴 속도를 가속화하는 적응형 컨트롤러를 설계하기 위해.

제안 방법

• 이 방법은 상위 클래스 간 분리와 하위 클래스 간 밀도를 향상시키기 위해 트리플릿 손실과 글로벌 구조 손실을 결합한다.
• 빠른 근처 이웃 검색(FANNG)을 활용하여 전체 훈련 세트에서 어려운 양성 및 음성 샘플을 효율적으로 탐색한다.
• 스마트 마이닝은 각 어퍼런스에 대해 가장 가까운 양성 샘플과 어퍼런스보다 더 멀리 떨어져 있는 가장 가까운 음성 샘플을 선택함으로써 어려우나 학습 가능한 트리플릿을 보장한다.
• 적응형 컨트롤러는 학습 성능을 모니터링하고 마이닝 하이퍼파라미터를 동적으로 조정하여 학습 속도를 최적화한다.
• 중요도 샘플링 히우리스틱스에 의존도를 줄이기 위해 전체 데이터셋을 직접 탐색함으로써 스토케스틱한 언더샘플링을 피한다.
• 엔드 투 엔드 백프로파게이션을 사용하여 트리플릿 손실과 글로벌 손실을 함께 훈련함으로써 강력한 특징 임베딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 훈련 세트를 효율적으로 탐색하는 스마트 마이닝이 트리플릿 기반 메트릭 러닝에서 스토케스틱한 중요도 샘플링을 대체할 수 있는가?
• RQ2 트리플릿 손실과 글로벌 손실을 조합하면 임베딩 품질과 수렴 속도가 향상되는가?
• RQ3 마이닝 하이퍼파라미터를 자동으로 조정하는 적응형 컨트롤러가 수동 조정 없이도 학습을 가속화할 수 있는가?
• RQ4 기준 데이터셋에서 최신 기술 수준의 방법들과 비교해 볼 때, 제안된 방법은 클러스터링 및 리콜 성능 측면에서 어떻게 성과를 내는가?
• RQ5 스마트 마이닝이 학습 중에 사용하는 어려운 샘플의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법, Triplet + FANNG + Global + Adaptive는 CUB-200-2011 데이터셋에서 Recall@1이 83.31%로 새로운 최신 기술 수준(SOTA) 성능을 달성했다.
• Cars196 데이터셋에서는 Recall@1이 90.19%에 도달하여 Semi-hard 및 N-pairs를 포함한 모든 이전 방법을 뛰어넘었다.
• 적응형 컨트롤러는 학습 수렴 속도를 크게 향상시켜 학습 시간을 단축시키면서도 성능을 유지하거나 향상시켰다.
• FANNG를 사용한 스마트 마이닝은 반반한 마이닝보다 뚜렷한 성능 향상을 보이며 체계적인 어려운 샘플 선택의 효과를 입증했다.
• 글로벌 손실과 트리플릿 손실의 조합은 클러스터링 성능을 향상시켰으며, Cars196에서 NMI가 58.20에서 59.50으로 상승했다.
• 시각적 검토 결과, 무작위 트리플릿과 비교해 마이닝된 트리플릿이 더 도전적이면서도 학습 가능한 양성 및 음성 샘플을 포함하고 있음을 확인했다.