[논문 리뷰] Similarity-based Classification: Connecting Similarity Learning to Binary Classification

Han Bao, Takuya Shimada외 3명|arXiv (Cornell University)|2020. 06. 11.

Machine Learning and Data Classification참고 문헌 1인용 수 6

한 줄 요약

이 논문은 쌍별 유사도 학습을 이진 분류 문제로 연결하는 유사도 기반 분류 프레임워크를 제안한다. 이는 단지 쌍별 레이블만을 사용하여 이진 분류기를 훈련시킴으로써 이루어지며, 유사한 쌍에 대한 실수값 예측의 곱을 최적화함으로써 이진 분류와 연결된 위험 경계를 최소화함을 보여준다. 이는 기존 방법들을 일반화하고 기준 데이터셋에서 뛰어난 경험적 성능을 달성한다.

ABSTRACT

In real-world classification problems, pairwise supervision (i.e., a pair of patterns with a binary label indicating whether they belong to the same class or not) can often be obtained at a lower cost than ordinary class labels. Similarity learning is a general framework to utilize such pairwise supervision to elicit useful representations by inferring the relationship between two data points, which encompasses various important preprocessing tasks such as metric learning, kernel learning, graph embedding, and contrastive representation learning. Although elicited representations are expected to perform well in downstream tasks such as classification, little theoretical insight has been given in the literature so far. In this paper, we reveal that a specific formulation of similarity learning is strongly related to the objective of binary classification, which spurs us to learn a binary classifier without ordinary class labels---by fitting the product of real-valued prediction functions of pairwise patterns to their similarity. Our formulation of similarity learning does not only generalize many existing ones, but also admits an excess risk bound showing an explicit connection to classification. Finally, we empirically demonstrate the practical usefulness of the proposed method on benchmark datasets.

연구 동기 및 목표

• 쌍별 레이블만을 사용하여 유사도 학습과 이진 분류 간의 이론적 연결 고리를 수립하기 위해.
• 일반적인 클래스 레이블 없이 쌍별 유사도 감독을 활용하여 효과적인 표현을 학습하는 방법을 개발하기 위해.
• 기존의 메트릭 학습, 커널 학습, 대비 표현 학습 등의 접근 방식을 일반화하는 통합 프레임워크를 제공하기 위해.
• 유사도 학습과 이진 분류 성능 간의 직접적인 연결 고리를 명시적으로 보장하는 초과 위험 경계를 유도하기 위해.
• 표준 기준 데이터셋에서 제안된 방법의 효과성을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 쌍별로 샘플링된 데이터에 대한 실수값 예측의 곱을 모델링하여 유사도 학습을 이진 분류 문제로 재구성한다.
• 동일/다른 클래스 레이블을 갖는 쌍별 레이블을 사용하여, 개별 샘플 예측의 곱을 통한 유사도 예측을 위한 모델을 훈련시킨다.
• 목적 함수는 이진 분류 오차와 직접적으로 관련된 초과 위험 경계를 최소화하도록 설계되어 있다.
• 공통 최적화 원칙 아래에 통합함으로써 기존의 메트릭 학습, 커널 학습, 대비 학습 등의 방법들을 일반화하는 프레임워크를 제공한다.
• 명시적인 클래스 레이블을 회피하고, 대신 데이터 쌍 간의 상대적 관계에 의존하여 분류 가능한 표현을 학습한다.
• 이론적 분석을 통해 제안된 목적 함수를 최소화할 경우, 후속 이진 분류에서 일반화 성능 향상이 이뤄진다는 위험 경계를 제시한다.

실험 결과

연구 질문

• RQ1 표준 클래스 레이블에 접근할 수 없는 상황에서 쌍별 유사도 감독을 이용해 이진 분류기를 훈련시킬 수 있는가?
• RQ2 유사도 학습과 이진 분류 간의 이론적 관계는 무엇인가?
• RQ3 제안된 방법은 메트릭 학습 및 대비 학습과 같은 기존의 유사도 학습 프레임워크를 어떻게 일반화하는가?
• RQ4 제안된 방법은 표준 기준 데이터셋에서 경쟁력 있는 성능을 달성하는가?
• RQ5 제안된 방법의 초과 위험 경계는 무엇이며, 이는 어떻게 이진 분류 오차와 관련이 있는가?

주요 결과

• 제안된 방법은 클래스 레이블 없이도 쌍별 감독만으로 기준 데이터셋에서 뛰어난 성능을 달성하여, 클래스 레이블이 없는 상황에서도 실용적 유용성을 입증한다.
• 이론적 분석을 통해 제안된 방법의 목적 함수가 초과 위험 경계를 통해 이진 분류 오차를 직접 최소화하는 데 기여한다는 점을 보여준다.
• 프레임워크는 메트릭 학습, 커널 학습, 대비 표현 학습 등 여러 기존의 유사도 학습 방법을 일반화한다.
• 이 방법은 쌍별 샘플에 대한 예측의 곱을 최적화하여 효과적인 표현을 학습함으로써, 이진 분류의 목표와 일치한다.
• 경험적 결과는 이 접근 방식이 표준 기준 데이터셋에서 표준 지도 학습 방법과 경쟁 가능한 성능을 달성한다는 것을 확인한다.
• 이 방법은 비용이 많이 드는 클래스 레이블에 의존하지 않고도 이진 분류기를 원칙적으로 훈련시킬 수 있는 방법을 제공한다.