[논문 리뷰] A Probabilistic Theory of Supervised Similarity Learning for Pointwise ROC Curve Optimization

Robin Vogel, Aurélien Bellet외 1명|arXiv (Cornell University)|2018. 07. 18.

Imbalanced Data Classification Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 고정된 거짓 양성 비율 하에서 참 양성 비율을 최대화함으로써 점별 ROC 곡선을 최적화하는 확률적 프레임워크를 제안한다. U-통계량을 사용하여 보편적이고 빠른 학습률을 확립하고, 표본 기반 근사화를 통해 확장 가능한 성능을 입증하며, 대규모 데이터셋에서 계산 비용을 줄이면서도 이론적 보장을 유지한다.

ABSTRACT

The performance of many machine learning techniques depends on the choice of an appropriate similarity or distance measure on the input space. Similarity learning (or metric learning) aims at building such a measure from training data so that observations with the same (resp. different) label are as close (resp. far) as possible. In this paper, similarity learning is investigated from the perspective of pairwise bipartite ranking, where the goal is to rank the elements of a database by decreasing order of the probability that they share the same label with some query data point, based on the similarity scores. A natural performance criterion in this setting is pointwise ROC optimization: maximize the true positive rate under a fixed false positive rate. We study this novel perspective on similarity learning through a rigorous probabilistic framework. The empirical version of the problem gives rise to a constrained optimization formulation involving U-statistics, for which we derive universal learning rates as well as faster rates under a noise assumption on the data distribution. We also address the large-scale setting by analyzing the effect of sampling-based approximations. Our theoretical results are supported by illustrative numerical experiments.

연구 동기 및 목표

• 기존의 유사도 학습 방법이 전반적인 지표인 AUC를 최적화하는 데서 비롯하는 한계를 해결하기 위해, 실제 응용에서의 운영 제약 조건을 반영하지 못할 수 있음을 고려한다.
• 유사도 학습을 점별 ROC 최적화에 초점을 맞춘 이원적 순서 정렬 문제로 공식화하여, 고정된 거짓 양성 비율 하에서 참 양성 비율을 최대화하는 것을 목표로 한다.
• 유사도 판단이 i.i.d.가 아니므로 U-통계량을 포함하는 점별 ROC 최적화 문제의 경험적 버전에 대한 일반화 경계를 유도한다.
• 표본 기반 근사화가 대규모 환경(십억 개 이상의 음성 쌍 포함)에서 학습률에 미치는 영향을 분석한다.
• 이론적 결과를 실증적으로 검증하여, 표본화가 학습률을 유지하면서도 MNIST와 같은 대규모 데이터셋에서 확장 가능한 학습을 가능하게 함을 보여준다.

제안 방법

• 유사도 학습을 제약 조건이 있는 최적화 문제로 모델링하여, 고정된 거짓 양성 비율 하에서 참 양성 비율을 최대화하는 것을 목표로 하며, 데이터의 이원적 상관관계를 기반으로 U-통계량을 사용해 수식화한다.
• 이론적 분석은 U-과정에 대한 농도 경계를 기반으로 하며, 데이터 분포에 대한 가정 없이 보편적 학습률 $O(1/\sqrt{n})$을 도출한다.
• 유사도 점수의 조건부 분위수에 대한 마진 조건을 포함하는 저소음 가정 하에서, 더 빠른 학습률 $O(n^{-(2+a)/4})$를 유도한다. 여기서 $a \in (0,1)$이다.
• 확장성을 확보하기 위해, 음성 위험을 $O(n)$개의 음성 쌍을 샘플링하여 불완전한 U-통계량으로 근사화하며, 보편적 학습률을 유지한다.
• 두 가지 샘플링 전략을 분석한다: 균일 샘플링과 데이터 분포 특성에 기반한 더 정보적인 전략이며, 이들의 정확도를 이론적 및 실증적으로 비교한다.
• Mahalanobis 거리 학습(MMC)을 사용하여 MNIST 데이터셋에서 검증한 결과, 서브샘플링을 통해 훈련 시간을 수십억 개의 쌍에서 수십만 개의 쌍으로 줄였지만 테스트 성능을 유지하였다.

실험 결과

연구 질문

• RQ1 전반적인 지표인 AUC 대신 점별 ROC 최적화를 통해 체계적으로 유사도 학습을 연구할 수 있는 확률적 프레임워크를 개발할 수 있는가?
• RQ2 목적 함수가 i.i.d. 평균이 아니라 U-통계량을 포함함에 따라, 경험적 점별 ROC 최적화 문제에 대해 어떤 일반화 보장을 도출할 수 있는가?
• RQ3 이러한 제약 조건이 있는 유사도 학습 환경에서 더 빠른 학습률을 달성하기 위한 분포 가정은 무엇인가?
• RQ4 대규모 환경에서 음성 위험의 표본 기반 근사화가 일반화 성능과 학습률을 유지하는 데 얼마나 효과적인가?
• RQ5 제안된 방법은 MNIST와 같은 대규모 데이터셋에서 훈련 시간을 크게 줄이면서도 높은 테스트 성능을 유지할 수 있는가?

주요 결과

• 논문은 데이터 분포에 대한 가정 없이 U-과정에 대한 농도 경계를 사용하여 점별 ROC 최적화에 대해 보편적 학습률 $O(1/\sqrt{n})$을 확립한다.
• 조건부 분위수에 대한 마진 조건을 포함하는 저소음 가정 하에서, $a \in (0,1)$인 경우 더 빠른 학습률 $O(n^{-(2+a)/4})$를 달성한다.
• 수치 실험 결과는 빠른 학습률이 실생활에서도 관찰 가능하다는 것을 확인하며, $a$가 증가할수록 경험적 일반화 속도가 감소함을 보여주어 수렴 속도 향상을 시사한다.
• 표본 기반 근사화를 통해 $O(n)$개의 음성 쌍을 사용하면 보편적 $O(1/\sqrt{n})$ 학습률을 유지할 수 있으며, 이는 대규모 데이터셋에서의 확장 가능한 학습을 가능하게 한다.
• MNIST 데이터셋($n=60,000$)에서 약 20억 개의 쌍을 대체로 $400,000$개의 음성 쌍(0.15n)으로 샘플링함으로써 테스트 세트에서 성능 손실가 최소화되면서도 훈련 시간이 극적으로 단축되었다.
• 다양한 샘플링 예산에서 제안된 방법은 높은 테스트 성능을 유지하며, 통계적 보장을 훼손하지 않은 채 실용적인 확장성을 입증한다.