[논문 리뷰] Revisiting Training Strategies and Generalization Performance in Deep Metric Learning

Karsten Roth, Timo Milbich외 4명|arXiv (Cornell University)|2020. 02. 19.

Face recognition and analysis참고 문헌 68인용 수 79

한 줄 요약

이 논문은 일관된 학습 조건 하에서 깊은 지표 학습(DML) 기초 방법들을 포괄적으로 통합적으로 평가하고, 미니배치 샘플링과 임베딩 공간 압축을 분석하며, 랭킹 기반 DML 방법의 일반화 능력을 높이기 위한 간단한 규제를 도입한다.

ABSTRACT

Deep Metric Learning (DML) is arguably one of the most influential lines of research for learning visual similarities with many proposed approaches every year. Although the field benefits from the rapid progress, the divergence in training protocols, architectures, and parameter choices make an unbiased comparison difficult. To provide a consistent reference point, we revisit the most widely used DML objective functions and conduct a study of the crucial parameter choices as well as the commonly neglected mini-batch sampling process. Under consistent comparison, DML objectives show much higher saturation than indicated by literature. Further based on our analysis, we uncover a correlation between the embedding space density and compression to the generalization performance of DML models. Exploiting these insights, we propose a simple, yet effective, training regularization to reliably boost the performance of ranking-based DML models on various standard benchmark datasets. Code and a publicly accessible WandB-repo are available at https://github.com/Confusezius/Revisiting_Deep_Metric_Learning_PyTorch.

연구 동기 및 목표

• 훈련 목표, 데이터 샘플링 및 모델 설계 선택이 균일한 조건에서 DML 성능에 어떤 영향을 미치는지 평가한다.
• 미니배치 샘플링이 DML 최적화 및 일반화에 미치는 영향을 평가한다.
• 임베딩 공간 구조(압축, 여유 마진, 클래스 내 분산)가 DML 일반화와 어떤 관계가 있는지 조사한다.
• 랭킹 기반 DML 방법의 일반화를 향상시키기 위한 규제 기법을 제안한다.

제안 방법

• 일관된 학습 설정 하에서 일반적인 DML 목표(랭킹 기반, 분류 기반, 프록시 기반)를 재검토하고 재구현한다.
• 성능에 미치는 영향을 측정하기 위해 라벨 기반 SPC n 및 메모리 뱅크를 사용한 임베디드 샘플링을 포함한 미니배치 샘플링 전략을 체계적으로 연구한다.
• 고유 스펙트럼 감소(SVD) 및 클래스 조건부 통계를 통해 학습된 임베딩 공간을 분석하고 일반화와 임베딩 공간 속성 간의 상관 관계를 파악한다.
• 임베딩 공간 압축을 줄여 일반화를 높이는 규제 기법을 제안하고 검증한다.
• 공정한 비교를 위해 고정된 아키텍처(ResNet50 기반) 및 학습 프로토콜로 표준 벤치마크(CUB200-2011, CARS196, SOP)에 대한 포괄적 실험을 제공한다.

실험 결과

연구 질문

• RQ1 다른 DML 목표 함수가 아키텍처 및 데이터세트 간 조건을 일정하게 유지했을 때 어떤 성능 차이를 보이는가?
• RQ2 미니배치 샘플링이 DML 최적화와 일반화 형성에 어떤 역할을 하는가?
• RQ3 학습 임베딩의 스펙트럴 감소가 학습/테스트 분포 이동 하에서 일반화와 어떤 관계가 있는가?
• RQ4 임베딩 공간 압축을 통제하는 규제가 랭킹 기반 DML 방법의 일반화를 개선할 수 있는가?

주요 결과

• DML 목표의 성능은 신중하게 매칭된 학습 조건 하에서 포화되며, 표준 벤치마크에서 많은 손실이 비슷한 성능을 보인다.
• 배치 크기, 데이터 전처리, 아키텍처 선택은 결과에 큰 영향을 주며, 불일치한 보고는 공정한 비교를 방해한다.
• 일반화와 임베딩 공간 스펙트럼 감소 사이에는 강한 역상관 관계가 있으며, 더 많은 방향의 분산이 더 나은 전이/일반화를 뒷받침한다.
• 임베딩 공간 압축은 일반화 저하와 상관관계가 있으며, 압축을 줄이는 간단한 규제가 랭킹 기반 DML의 성능을 개선한다.
• 간단한 미니배치 전략(SPC-2)과 더 큰 배치 다양성은 더 복잡한 마이닝 방법보다 여러 데이터셋에서 우수한 성능을 보일 수 있다.