[논문 리뷰] Generalization in Metric Learning: Should the Embedding Layer be the Embedding Layer?

Nam Vo, James Hays|arXiv (Cornell University)|2018. 03. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 미세한 이미지 검색을 위한 딥 메트릭 러닝에서 일반화 성능을 조사하며, 일반적으로 최종 임bedding 레이어보다 이전 레이어(마지재 레이어)가 더 잘 일반화됨을 보여준다. 여러 레이어에 걸친 특징 성능을 분석한 결과, 손실 함수에 가까운 레이어는 훈련 데이터에 과적합하는 반면, 얕은 레이어인 마지재 레이어는 테스트 성능이 뛰어나며, Cars-196, CUB-200-2011, Stanford Online Products 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

This work studies deep metric learning under small to medium scale data as we believe that better generalization could be a contributing factor to the improvement of previous fine-grained image retrieval methods; it should be considered when designing future techniques. In particular, we investigate using other layers in a deep metric learning system (besides the embedding layer) for feature extraction and analyze how well they perform on training data and generalize to testing data. From this study, we suggest a new regularization practice where one can add or choose a more optimal layer for feature extraction. State-of-the-art performance is demonstrated on 3 fine-grained image retrieval benchmarks: Cars-196, CUB-200-2011, and Stanford Online Product.

연구 동기 및 목표

• 딥 메트릭 러닝 네트워크의 다양한 레이어가 테스트 데이터에 어떻게 일반화되는지, 특히 소규모에서 중간 규모의 데이터 설정에서 조사하는 것.
• 메트릭 러닝에서 최종 임베딩 레이어가 특징 추출에 최적이라는 기존의 가정을 도전하는 것.
• 특히 마지재 레이어와 같은 대체 레이어가 더 나은 일반화와 검색 성능을 낼 수 있는지 탐색하는 것.
• 손실 함수나 아키텍처를 수정하지 않고도 일반화를 향상시키기 위한 새로운 정규화 전략으로서 레이어 선택을 제안하는 것.

제안 방법

• 저자들은 대조나 트리플릿 손실을 사용하여 딥 메트릭 러닝 네트워크를 훈련하고, 최종 임베딩 레이어 외에도 여러 중간 레이어에서 특징을 추출한다.
• 다양한 벤치마크에서 훈련 및 테스트 세트에 대해 Recall@1(R@1)과 같은 표준 검색 메트릭을 사용하여 특징 성능을 평가한다.
• 마지재 레이어(pool5.3)와 마지막 레이어(fc6) 및 기타 중간 레이어의 성능을 비교하며, 훈련 데이터에 대한 적합도와 테스트 데이터에 대한 일반화 능력을 분석한다.
• Cars-196, CUB-200-2011, Stanford Online Products, Revisited Oxford-Paris 벤치마크를 포함한 다양한 아키텍처와 데이터셋에서 추론 실험을 수행한다.
• 레이어 깊이, 손실 함수로부터의 거리, 임베딩 차원 수가 일반화 및 적합도 성능에 미치는 영향을 분석한다.
• 자신들이 훈련한 모델과 공개된 모델(예: lifted structure, HDC)을 대상으로 검증하여 아키텍처 간 일관성을 확인한다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝에서 미세한 이미지 검색을 위해 최종 임베딩 레이어가 항상 가장 잘 일반화되는가?
• RQ2 중간 레이어의 성능은 훈련 데이터 적합도와 테스트 일반화 측면에서 임베딩 레이어와 어떻게 비교되는가?
• RQ3 마지재 레이어가 훈련 정확도는 열 劣하지만 왜 테스트 성능에서 최종 레이어를 능가하는가?
• RQ4 레이어 깊이나 손실 함수로부터의 거리가 메트릭 러닝에서 일반화에 얼마나 영향을 미치는가?
• RQ5 특징 추출을 위해 다른 레이어를 선택하는 것이 손실 함수나 아키텍처를 수정하지 않고도 최신 기술 성능을 달성하는 데 기여할 수 있는가?

주요 결과

• 동일한 DML 훈련 네트워크를 사용할 때, 마지재 레이어(pool5.3)는 Cars-196 테스트 세트에서 65.1%의 R@1 성능을 기록하여 최종 레이어의 47.9% R@1을 초월한다.
• CUB-200-2011 벤치마크에서 마지재 레이어는 66.4% R@1을 기록하여 최종 레이어의 46.3% R@1을 뛰어넘으며, 더 나은 일반화 능력을 입증한다.
• Stanford Online Products 데이터셋에서 마지재 레이어는 74.8% R@1을 기록하여 최종 레이어의 74.1% R@1을 초월하며, 일반화 성능 향상이 일관되게 관찰된다.
• Revisited Oxford-5k 및 Paris-6k 벤치마크에서는 마지재 레이어가 Easy 및 Medium 설정에서 mP@1 성능이 더 뛰어나며, R@1 추세와 일관된다.
• 훈련 데이터에 대한 과적합이 덜하지만, 마지재 레이어는 더 잘 일반화되며, 이는 손실 레이어에 대한 과적합이 테스트 시 성능에 악영향을 미친다는 것을 시사한다.
• 공개된 모델인 lifted structure 및 HDC 모델을 포함한 다양한 모델에서 이러한 발견이 유지되며, 단일 아키텍처를 초월한 강건성을 확인한다.