[논문 리뷰] Directional Statistics-based Deep Metric Learning for Image Classification and Retrieval

Xuefei Zhe, Shifeng Chen외 1명|arXiv (Cornell University)|2018. 02. 27.

Face recognition and analysis참고 문헌 25인용 수 6

한 줄 요약

이 논문은 L2-정규화된 임bedding 공간에서 유클리드 거리 대신 코사인 유사도를 사용하는 방향 통계 기반의 새로운 딥 메트릭 학습 방법을 제안한다. 이는 원형 분포를 따르는 바라흐만-피셔(von Mises-Fisher, vMF) 손실 함수를 통해 구현되며, 초구면 상의 클래스 분포를 모델링함으로써 이미지 분류 및 검색 성능을 향상시킨다. 이 방법은 더 단순한 학습 과정과 더 나은 일반화 능력을 제공하여 얕은 네트워크에서도 특히 뛰어난 성능을 기록하며, 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Deep distance metric learning (DDML), which is proposed to learn image similarity metrics in an end-to-end manner based on the convolution neural network, has achieved encouraging results in many computer vision tasks.$L2$-normalization in the embedding space has been used to improve the performance of several DDML methods. However, the commonly used Euclidean distance is no longer an accurate metric for $L2$-normalized embedding space, i.e., a hyper-sphere. Another challenge of current DDML methods is that their loss functions are usually based on rigid data formats, such as the triplet tuple. Thus, an extra process is needed to prepare data in specific formats. In addition, their losses are obtained from a limited number of samples, which leads to a lack of the global view of the embedding space. In this paper, we replace the Euclidean distance with the cosine similarity to better utilize the $L2$-normalization, which is able to attenuate the curse of dimensionality. More specifically, a novel loss function based on the von Mises-Fisher distribution is proposed to learn a compact hyper-spherical embedding space. Moreover, a new efficient learning algorithm is developed to better capture the global structure of the embedding space. Experiments for both classification and retrieval tasks on several standard datasets show that our method achieves state-of-the-art performance with a simpler training procedure. Furthermore, we demonstrate that, even with a small number of convolutional layers, our model can still obtain significantly better classification performance than the widely used softmax loss.

연구 동기 및 목표

• 딥 메트릭 학습에서 유클리드 거리와 L2-정규화된 임베딩 공간 간의 불일치 문제를 해결하기 위해.
• 복잡한 데이터 포맷팅이 필요하고 전역적인 구조 인식 능력이 부족한 트리플릿 기반 손실 함수의 한계를 극복하기 위해.
• 방향 통계를 활용하여 더 효율적이고 일반화 능력이 뛰어난 딥 메트릭 학습 절차를 개발하기 위해.
• 더 단순하고 엔드 투 엔드로 학습 가능한 프레임워크를 통해 이미지 분류 및 검색 작업의 성능을 향상시키기 위해.

제안 방법

• L2-정규화된 임베딩 공간에서 유클리드 거리를 코사인 유사도로 대체하여 초구면 기하학과 더 잘 일치하도록 한다.
• 초구면 상에서 클래스별 방향 분포를 모델링하기 위해 바라흐만-피셔(von Mises-Fisher, vMF) 분포 기반의 새로운 손실 함수를 제안한다.
• vMF 손실을 효율적으로 최적화할 수 있는 대체 학습 알고리즘을 도입하여 안정적이고 효과적인 학습을 가능하게 한다.
• 임베딩 공간에서 평균 방향 주변의 클래스 분포의 낱도를 조절하기 위해 농도 매개변수 κ를 사용한다.
• 클래스 평균 방향 간의 평균 코사인 유사도를 활용하여 상위 클래스 간 분리도와 일반화 능력을 분석한다.
• 복잡한 데이터 샘플링이나 사전 처리 없이도 표준 CNN 아키텍처에 vMF 손실을 적용한다.

실험 결과

연구 질문

• RQ1 방향 통계는 L2-정규화된 임베딩 공간에서 딥 메트릭 학습을 어떻게 향상시킬 수 있는가?
• RQ2 vMF 기반 손실 함수는 전통적인 트리플릿 및 대비 손실 함수보다 이미지 분류 및 검색에서 더 우수한 성능을 낼 수 있는가?
• RQ3 농도 매개변수 κ의 선택은 모델의 일반화 능력과 검색 성능에 어떤 영향을 미치는가?
• RQ4 얕은 네트워크를 vMF 손실로 학습시켰을 때, 표준 소프트맥스 손실을 사용하는 깊은 모델과 비교해 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 방법은 제로샷 또는 피카샷 학습 시나리오로도 잘 일반화될 수 있는가?

주요 결과

• vMF 손실은 여러 표준 데이터셋에서 이미지 분류 및 검색 작업 전반에 걸쳐 최신 기술 수준의 성능을 달성한다.
• CUB-200-2011 데이터셋에서 movMF-hard 클러스터링 방법을 사용한 vMF 모델은 평균 정확도 58.89%와 Recall@1 64.33%를 기록한다.
• Cars196와 CUB-200-2011에서 각각 검색 성능에서 기준 클러스터링 방법 [11]보다 3.39%와 5.10% 향상되었다.
• 검색 성능가 가장 높은 성능을 보이는 κ 값은 약 30–40로, 클래스의 밀도와 일반화 간 최적의 균형을 나타낸다.
• 얕은 합성곱 신경망을 사용해도 뛰어난 성능을 기록하며, 강력한 인덕티브 바이어스와 일반화 능력을 보여준다.
• 농도 매개변수 ˆκ의 평균은 검색 성능과 반비례하는 경향을 보이며, 이는 더 흐린 클래스 분포가 일반화 능력을 향상시킨다는 것을 시사한다.