[논문 리뷰] A Theoretically Sound Upper Bound on the Triplet Loss for Improving the Efficiency of Deep Distance Metric Learning

Thanh-Toan Do, Toan Tran외 4명|arXiv (Cornell University)|2019. 04. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 48인용 수 8

한 줄 요약

이 논문은 딥 거리 메트릭 학습을 위한 트리플릿 손실에 대해 이론적으로 타당하고 선형 복잡도 상한을 제안하며, 기존의 O(N³)에서 O(N) 시간 복잡도로 학습이 가능하게 한다. 클래스 중심점을 사용해 트리플릿 손실을 엄밀하게 상한화함으로써, 최신 트리플릿 방법보다 10배 빠른 학습 속도를 달성하면서도 CUB-200-2011 및 CAR196 데이터셋에서 경쟁 가능한 검색 정확도를 유지한다.

ABSTRACT

We propose a method that substantially improves the efficiency of deep distance metric learning based on the optimization of the triplet loss function. One epoch of such training process based on a naive optimization of the triplet loss function has a run-time complexity O(N^3), where N is the number of training samples. Such optimization scales poorly, and the most common approach proposed to address this high complexity issue is based on sub-sampling the set of triplets needed for the training process. Another approach explored in the field relies on an ad-hoc linearization (in terms of N) of the triplet loss that introduces class centroids, which must be optimized using the whole training set for each mini-batch - this means that a naive implementation of this approach has run-time complexity O(N^2). This complexity issue is usually mitigated with poor, but computationally cheap, approximate centroid optimization methods. In this paper, we first propose a solid theory on the linearization of the triplet loss with the use of class centroids, where the main conclusion is that our new linear loss represents a tight upper-bound to the triplet loss. Furthermore, based on the theory above, we propose a training algorithm that no longer requires the centroid optimization step, which means that our approach is the first in the field with a guaranteed linear run-time complexity. We show that the training of deep distance metric learning methods using the proposed upper-bound is substantially faster than triplet-based methods, while producing competitive retrieval accuracy results on benchmark datasets (CUB-200-2011 and CAR196).

연구 동기 및 목표

• 딥 메트릭 학습에서 트리플릿 손실 학습의 높은 계산 복잡도가 데이터셋 크기에 따라 O(N³)로 증가하는 문제를 해결한다.
• 기존의 서브샘플링 및 중심점 기반 접근법이 중심점 최적화로 인해 여전히 O(N²) 복잡도를 유발하는 한계를 극복한다.
• 클래스 중심점을 사용해 이론적으로 타당하고 엄밀한 트리플릿 손실 상한을 유도함으로써 선형 시간 학습을 가능하게 한다.
• 학습 중 반복적인 중심점 최적화 단계가 필요 없게 하여 성능을 훼손하지 않으면서도 보장된 선형 복잡도를 확보한다.
• 오픈 월드 및 라이프타임 학습 응용 분야에 적합한 효율적이고 확장 가능한 딥 메트릭 학습을 가능하게 한다.

제안 방법

• 클래스 중심점을 사용해 표준 트리플릿 손실에 대해 이론적으로 타당하고 엄밀한 상한이 되는 분류 손실 함수를 제안한다.
• 클래스 중심점이 잘 분리되어 있고 균일하게 분포되어 있을 경우, 상한과 진짜 트리플릿 손실 간의 차이가 0으로 수렴함을 증명한다.
• 상한의 엄밀함을 보장하기 위해 두 가지 방법으로 클래스 중심점을 생성한다: 하나는 특징의 경험적 평균 기반이고, 다른 하나는 고정된 반복 횟수로 최적화하는 방식이다.
• 학습 전반에 걸쳐 클래스 중심점을 고정하는 학습 알고리즘을 설계함으로써, 이전 방법에서 요구되던 O(N²) 중심점 업데이트 단계를 제거한다.
• GoogleNet 및 VGG-16와 같은 다양한 백본 네트워크와의 호환성을 확보하기 위해, 최소한의 아키텍처 변경으로 제안된 손실을 딥 신경망에 통합한다.
• 샘플과 중심점 간의 선형 스캔으로 삼중항 계산을 대체함으로써, 에포크당 선형 시간 복잡도 O(N)을 달성한다.

실험 결과

연구 질문

• RQ1 이론적으로 타당하고 엄밀한 트리플릿 손실 상한을 도출할 수 있는가? 이는 원래 손실의 최소화를 보장하면서도 선형 시간 학습을 가능하게 해야 한다.
• RQ2 클래스 중심점의 분포에 어떤 조건이 요구되어야 상한이 엄밀해지고 메트릭 학습에 효과적으로 기여할 수 있는가?
• RQ3 중심점 기반 메트릭 학습에서 비용이 많이 드는 중심점 최적화 단계를 성능 저하 없이 제거할 수 있는가?
• RQ4 제안된 방법은 최신 트리플릿 기반 방법과 비교해 상당히 더 빠른 학습 속도를 달성하면서도 경쟁 가능한 검색 정확도를 확보하는가?
• RQ5 실제로 데이터셋 크기와 클래스 수가 증가함에 따라 제안된 방법은 어떻게 스케일링되는가?

주요 결과

• 제안된 분류 손실은 CUB-200-2011 및 CAR196 데이터셋에서 각각 스마트 마이닝을 적용한 최신 트리플릿 방법 대비 약 13배에서 17배 빠른 학습 시간을 기록한다.
• 학습 샘플 수와 클래스 수에 대해 선형 스케일링을 보이며, 이는 이론적 O(N) 복잡도 주장의 타당성을 확인한다.
• CUB-200-2011 데이터셋에서 VGG-16을 사용할 경우 R@1 정확도가 57.74%를 기록하며, 동일한 손실 조건에서 GoogleNet보다 6.3% 높은 성능을 달성한다.
• CAR196 데이터셋에서 VGG-16을 사용할 경우 R@1 정확도가 78.15%를 기록하며, GoogleNet 대비 9.8% 향상된 성능을 보인다.
• 클래스 중심점이 잘 분리되어 있고 상호 거리가 유사할 경우, 트리플릿 손실에 대한 상한이 엄밀함을 증명한다.
• 실험 결과는 제안된 상한을 최소화할 경우 경쟁 가능한 검색 성능이 달성됨을 확인하며, 이론적 타당성에 대한 검증을 완료한다.