[논문 리뷰] Sampling Matters in Deep Embedding Learning

Chao-Yuan Wu, R. Manmatha외 2명|arXiv (Cornell University)|2017. 06. 23.

Face recognition and analysis참고 문헌 38인용 수 85

한 줄 요약

논문은 심층 임베딩 학습에서 손실 선택만큼 샘플 선택의 중요성이 크다고 주장하고, 거리 가중 샘플링(distance weighted sampling)과 경계 기반 손실(margin-based loss)을 도입하여 여러 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Deep embeddings answer one simple question: How similar are two images? Learning these embeddings is the bedrock of verification, zero-shot learning, and visual search. The most prominent approaches optimize a deep convolutional network with a suitable loss function, such as contrastive loss or triplet loss. While a rich line of work focuses solely on the loss functions, we show in this paper that selecting training examples plays an equally important role. We propose distance weighted sampling, which selects more informative and stable examples than traditional approaches. In addition, we show that a simple margin based loss is sufficient to outperform all other loss functions. We evaluate our approach on the Stanford Online Products, CAR196, and the CUB200-2011 datasets for image retrieval and clustering, and on the LFW dataset for face verification. Our method achieves state-of-the-art performance on all of them.

연구 동기 및 목표

• 심층 임베딩 학습에서 손실 설계와 더불어 샘플 선택의 중요성을 동기부여한다.
• 샘플링 전략을 분석하고 임베딩 품질에 미치는 영향을 평가한다.
• 그래디언트 분산을 줄이고 학습을 안정화하기 위해 거리 가중 샘플링을 제안한다.
• 데이터 기하학에 적응하는 경계 기반 손실을 도입해 로버스트성을 개선한다.
• 표준 임베딩 벤치마크에서 최첨단 성능을 보여준다.

제안 방법

• 거리 D_ij 를 임베딩 f(x_i)와 f(x_j) 사이의 유클리드 거리로 정의한다.
• 불안을 안정시키기 위해 역거리와의 비례 확률로 음수를 선택하는 거리 가중 샘플링을 제안한다(안정성을 위한 클리핑 포함).
• 클래스 및 이미지별 beta 항과 beta 파라미터에 대한 nu 정규화항을 가진 간단한 경계 기반 손실 ell^margin(i,j) = (alpha + y_ij (D_ij - beta))_+ 를 도입한다.
• 경계 기반 손실이 제약조건을 완화하고 거리의 상대적 순서에 초점을 맞추어 거리의 등가수정선형조정과 유사하게 작용함을 보인다.
• 표준 데이터셋에서 샘플링 전략(무작위, 하드/세미하드 마이닝)과 손실(대조적, 삼중항, 경계) 간의 경험적 비교를 수행한다.
• 그래디언트 분산을 샘플 거리와 연결하고 거리 가중 샘플링이 고분산 그래디언트를 완화하는 방식을 분석한다.

실험 결과

연구 질문

• RQ1 샘플링 전략이 심층 임베딩 학습에서 서로 다른 임베딩 손실(대조적, 삼중항, 경계)의 효과에 어떤 영향을 미치는가?
• RQ2 거리 가중 샘플링 접근이 데이터 전체에 걸쳐 학습 안정성과 최종 임베딩 품질을 향상시킬 수 있는가?
• RQ3 적응 경계가 있는 경계 기반 손실이 전통적 쌍대/삼중항 손실보다 로버스트성과 성능 향상을 제공하는가?
• RQ4 샘플링 선택이 수렴 속도와 검색/군집화/검증 성능에 어느 정도 영향을 미치는가?

주요 결과

• 거리 가중 샘플링은 전통적 샘플링보다 더 정보적이고 안정적인 음수를 제공하여 그래디언트 분산을 줄이고 임베딩 품질을 향상시킨다.
• 적응 경계 beta 를 가진 간단한 경계 기반 손실이 여러 데이터셋과 샘플링 방식에서 기존 손실보다 우수하다.
• 거리 가중 샘플링과 경계 기반 손실을 결합하면 Stanford Online Products, CARS196, CUB200-2011에서 검색 및 군집화에 대해 최첨단 결과를 달성하고 LFW 검증 성능을 향상시킨다.
• 경계 기반 손실은 클래스별 및 이미지별 beta 항과 등온 회귀와 유사한 동작으로 고정된 마진을 강제하기보다 올바른 상대 순서를 유지하는 데 집중한다.
• 제안된 방법은 삼중항 세미하드 마이닝이나 대조적 무작위 샘플링에 비해 평가 설정에서 더 빠르고 안정적으로 수렴한다.