[논문 리뷰] Supervised Learning with Similarity Functions

Purushottam Kar, Prateek Jain|arXiv (Cornell University)|2012. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 9

한 줄 요약

이 논문은 전통적인 양의 준정부형(PSD) 커널을 초월하여, 목표값 기반의 우수도 기준을 도입함으로써, 무한한 유사도 함수를 사용하는 보조 학습을 위한 일반적인 프레임워크를 제안한다. 이는 회귀, 순서 회귀, 순위 매기기 작업 전반에 걸쳐 유한한 일반화 오차를 보장하는 데에 효과적인 랜드마크 기반 기법을 적용함으로써 이루어지며, 희소 랜드마크 선택 방법을 통해 기존 커널 기반 방법 대비 효율성과 정확도를 향상시킨다.

ABSTRACT

We address the problem of general supervised learning when data can only be accessed through an (indefinite) similarity function between data points. Existing work on learning with indefinite kernels has concentrated solely on binary/multi-class classification problems. We propose a model that is generic enough to handle any supervised learning task and also subsumes the model previously proposed for classification. We give a "goodness" criterion for similarity functions w.r.t. a given supervised learning task and then adapt a well-known landmarking technique to provide efficient algorithms for supervised learning using "good" similarity functions. We demonstrate the effectiveness of our model on three important super-vised learning problems: a) real-valued regression, b) ordinal regression and c) ranking where we show that our method guarantees bounded generalization error. Furthermore, for the case of real-valued regression, we give a natural goodness definition that, when used in conjunction with a recent result in sparse vector recovery, guarantees a sparse predictor with bounded generalization error. Finally, we report results of our learning algorithms on regression and ordinal regression tasks using non-PSD similarity functions and demonstrate the effectiveness of our algorithms, especially that of the sparse landmark selection algorithm that achieves significantly higher accuracies than the baseline methods while offering reduced computational costs.

연구 동기 및 목표

• 양의 준정부형(PSD) 커널을 초월하여 무한한 유사도 함수의 사용을 가능하게 함으로써 보조 학습을 확장한다.
• 분류 작업에 특화된 기존 기준을 포함하는, 목표값 유사도 기반의 일반적인 '우수도' 기준을 정의한다.
• 다양한 보조 학습 작업 전반에 걸쳐 유한한 일반화 오차를 보장하는 효율적인 학습 알고리즘을 개발한다.
• 랜드마크 선택의 계산 비효율성을 해결하기 위해 이론적 보장을 갖춘 희소 랜드마크 기반 방법을 도입한다.
• 이론적 분석을 통해 학습 데이터를 랜드마크로 재사용하는 것(이중 사용)의 실용성을 정당화한다.

제안 방법

• 목표값 기반의 우수도 기준을 제안: 유사한 데이터 포인트는 유사한 목표값을 가져야 하며, 이는 분류 작업을 위한 마진 기반 기준을 일반화한다.
• 랜드마크 기반 기법을 적응시켜 대표적인 랜드마크 집합을 사용해 유사도 기반 학습을 축소된 공간에서 선형 문제로 변환한다.
• 정규화 항을 포함한 가중 최소제곱 설정을 사용해 랜드마크 특징 공간에서 예측기 학습을 수행한다.
• 희소 벡터 복원 기법([10])을 적용해 소수의 영향력 있는 랜드마크 집합을 식별함으로써 학습 및 추론 비용을 절감한다.
• 해결책을 랜드마크 가중치의 조합으로 표현할 수 있도록 표현 정리(Representer Theorem)를 활용해 효율적인 최적화를 가능하게 한다.
• 이론적 분석을 통해 회귀, 순서 회귀, 순위 매기기 작업 전반에 걸쳐 다항식 수준의 샘플 복잡도로 유한한 일반화 오차를 확보한다.

실험 결과

연구 질문

• RQ1 이진 분류를 초월하여 다양한 보조 학습 작업에 적용 가능한 일반적인 유사도 함수의 우수도 기준을 정의할 수 있는가?
• RQ2 무한한 유사도 함수를 사용할 때 랜드마크 기반 기법이 일반화 오차의 경계를 제공할 수 있는가?
• RQ3 희소 랜드마크 선택이 무한한 커널을 사용한 학습에서 계산 비용을 절감하면서도 일반화 성능을 유지할 수 있는가?
• RQ4 랜드마크 기반 학습에서 학습 데이터를 랜드마크로 재사용하는 것(이중 사용)을 이론적으로 정당화할 수 있는가?
• RQ5 실제 회귀 및 순서 회귀 데이터셋에서 제안된 방법들이 표준 커널 회귀 대비 실용적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 프레임워크는 무한한 유사도 함수를 사용하여 실수값 회귀, 순서 회귀, 순위 매기기 작업 전반에 걸쳐 유한한 일반화 오차를 달성한다.
• 희소 랜드마크 선택 알고리즘이 기존 방법 대비 정확도를 크게 향상시키면서도 테스트 시간 계산 비용을 감소시킨다.
• 기준 데이터셋에서, 랜드마크 기반 방법(RandLand 및 ORLand)은 여러 커널(Gaussian, 유클리드, 맨하탄)에 대해 커널 회귀보다 낮은 평균 제곱오차와 절대오차를 기록했다.
• 이론적 분석을 통해 우수도 기준이 모든 좋은 PSD 커널을 수용함으로써 기존 커널 방법과의 호환성을 보장한다.
• 희소 벡터 복원을 통해 유도된 희소 예측기는 소수의 랜드마크만을 사용함에도 불구하고 유한한 일반화 오차를 유지한다.
• 이론적 근거를 통해 이중 사용(학습 데이터를 랜드마크로 재사용)이 일반화 보장을 훼손하지 않도록 실용적으로 정당화된다.