[논문 리뷰] Unbiased Evaluation of Deep Metric Learning Algorithms

István Fehérvári, Avinash Ravichandran외 1명|arXiv (Cornell University)|2019. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 8

한 줄 요약

이 논문은 동일한 학습 조건(공유된 초모수, 백본 네트워크, 데이터셋 분할) 하에서 12개의 최신 딥 메트릭 학습(DML) 알고리즘에 대한 공정하고 편향 없는 평가를 제시한다. 이는 오래된 방법들인 마진 손실과 프록시 기반 손실이 더 새로운 방법들보다 뛰어난 성능을 보임을 드러내며, 이는 이전의 성능 순위에 대한 가정을 도전하고 CUB200, CAR196, Stanford Online Products 데이터셋에서 새로운 SOTA 기준선을 수립한다. 코드는 오픈소스로 제공되며 초모수는 최적화되었다.

ABSTRACT

Deep metric learning (DML) is a popular approach for images retrieval, solving verification (same or not) problems and addressing open set classification. Arguably, the most common DML approach is with triplet loss, despite significant advances in the area of DML. Triplet loss suffers from several issues such as collapse of the embeddings, high sensitivity to sampling schemes and more importantly a lack of performance when compared to more modern methods. We attribute this adoption to a lack of fair comparisons between various methods and the difficulty in adopting them for novel problem statements. In this paper, we perform an unbiased comparison of the most popular DML baseline methods under same conditions and more importantly, not obfuscating any hyper parameter tuning or adjustment needed to favor a particular method. We find, that under equal conditions several older methods perform significantly better than previously believed. In fact, our unified implementation of 12 recently introduced DML algorithms achieve state-of-the art performance on CUB200, CAR196, and Stanford Online products datasets which establishes a new set of baselines for future DML research. The codebase and all tuned hyperparameters will be open-sourced for reproducibility and to serve as a source of benchmark.

연구 동기 및 목표

• 비일관된 초모수 조정, 백본 네트워크, 평가 조건으로 인해 딥 메트릭 학습(DML) 연구 분야에서 공정하고 편향 없는 비교가 부족한 문제를 해결하기 위해.
• 공유된 특징 추출기, 임bedding 크기, 배치 크기를 포함한 동일한 학습 설정 하에서 주요 DML 방법의 진정한 성능 순위를 평가하기 위해.
• 모델 성능에 상당한 영향을 미치는 이전에 보고되지 않은 초모수 트릭과 설정 민감도를 규명하기 위해.
• 12개의 최신 알고리즘에 대해 통합된 코드베이스와 최적화된 초모수를 공개하여 향후 DML 연구를 위한 신뢰할 수 있는 벤치마크를 수립하기 위해.

제안 방법

• 모든 방법에 대해 일관된 학습과 평가를 보장하기 위해 MXNet을 사용해 12개의 최신 DML 알고리즘을 통합 구현하였다.
• 모든 모델은 동일한 백본(Inception-BN 및 ResNet50), 임bedding 크기, 배치 크기를 사용하여 CUB200, CAR196, Stanford Online Products 세 가지 표준 데이터셋에서 학습 및 평가되었다.
• 모든 방법에 대해 별도로 초모수를 최적화하였으며, 특정 알고리즘에 유리한 방법에 대한 특수 최적화를 피하기 위해 편향 없이 진행되었다.
• 핵심 학습 요소를 체계적으로 변화시켰다: 임bedding 크기(16–256), 배치 크기(2–128), 백본 아키텍처(Inception-BN 대비 ResNet50), 나머지 설정은 일정하게 유지하였다.
• 샘플링 전략은 각 방법에서 권장하는 기본값을 기준으로 표준화하였으며, 핵심 구성 요소의 영향을 분리하기 위해 최소한의 변형만 테스트하였다.
• 성능는 Recall@K와 정규화된 상호정보량(NMI)을 사용해 측정하였으며, 모든 데이터셋과 설정에서 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 동일한 학습 조건과 초모수 설정 하에서 현대적 DML 알고리즘의 성능 순위는 어떻게 변화하는가?
• RQ2 임bedding 크기, 배치 크기, 백본 네트워크 선택이 다양한 DML 손실 함수의 성능에 어느 정도의 영향을 미치는가?
• RQ3 왜 공정한 비교를 할 경우 최근에 제안된 일부 DML 방법들이 오래된 방법들보다 성능이 열 劣하는가?
• RQ4 SOTA 성능을 달성하기 위해 필수적인 숨겨진 초모수 설정이나 학습 트릭은 무엇이며, 왜 이러한 요소들이 원본 논문에서 자주 생략되는가?
• RQ5 모든 방법이 동일한 조건에서 학습될 경우, 프록시 기반 및 마진 기반 손실이 트리플릿 기반 접근보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 동일한 학습 조건 하에서, 반반 학습을 위한 트리플릿 손실은 모든 데이터셋에서 가장 열 劣한 성능을 보였다. 이는 그 광범위한 채택과 정면으로 배치된다.
• 마진 손실과 프록시-소프트맥스와 같은 방법들이 CUB200, CAR196, Stanford Online Products에서 최신 알고리즘을 모두 앞서는 SOTA 성능을 달성하였다.
• CUB200에서 프록시-소프트맥스는 Inception-BN을 사용해 Recall@1이 89.93%를 기록하였고, 프록시-NCA는 88.93%를 기록하여 모두 새로운 SOTA 기준선을 수립하였다.
• 백본 선택이 성능에 상당한 영향을 미쳤다: ResNet50는 대부분의 방법에서 성능을 떨어뜨렸지만, 마진 손실은 Recall@1이 51.3%에서 59.6%로 향상되었다.
• 큰 배치 크기는 대부분의 손실 함수에서 성능 향상을 가져왔지만, 프록시-소프트맥스는 내재된 샘플링 메커니즘이 있어 작은 배치 크기에서도 잘 작동하였다.
• 임bedding 크기의 영향은 비트리비얼했다: 허프 기반 손실에서는 더 큰 크기가 성능 향상을 가져왔지만, 모든 방법에선 그렇지 않았다. 이는 손실 유형과 표현 능력 간의 복잡한 상호작용을 시사한다.