[논문 리뷰] Algorithms for Learning Kernels Based on Centered Alignment

Corinna Cortes, Mehryar Mohri외 1명|arXiv (Cornell University)|2012. 03. 02.

Machine Learning and ELM참고 문헌 38인용 수 393

한 줄 요약

이 논문은 중심화된 정렬(-centered alignment)을 기반으로 한 새로운 알고리즘을 소개한다. 중심화된 정렬은 커널 행렬 간의 유사도 측정법이며, 이는 분류 및 회귀 문제에서 균일 조합과 이전의 학습 커널 방법을 일관되게 뛰어넘는다. 이 방법은 정렬을 최대화하기 위해 효율적인 이차계획법(Quadratic Programming)을 사용하며, 정렬 기반 정규화를 통한 단계적 학습 프레임워크를 포함하여 기준 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

This paper presents new and effective algorithms for learning kernels. In particular, as shown by our empirical results, these algorithms consistently outperform the so-called uniform combination solution that has proven to be difficult to improve upon in the past, as well as other algorithms for learning kernels based on convex combinations of base kernels in both classification and regression. Our algorithms are based on the notion of centered alignment which is used as a similarity measure between kernels or kernel matrices. We present a number of novel algorithmic, theoretical, and empirical results for learning kernels based on our notion of centered alignment. In particular, we describe efficient algorithms for learning a maximum alignment kernel by showing that the problem can be reduced to a simple QP and discuss a one-stage algorithm for learning both a kernel and a hypothesis based on that kernel using an alignment-based regularization. Our theoretical results include a novel concentration bound for centered alignment between kernel matrices, the proof of the existence of effective predictors for kernels with high alignment, both for classification and for regression, and the proof of stability-based generalization bounds for a broad family of algorithms for learning kernels based on centered alignment. We also report the results of experiments with our centered alignment-based algorithms in both classification and regression.

연구 동기 및 목표

• 커널 방법에서 커널 선택의 지속적 과제를 해결하기 위해, 수동으로 커널을 선택하는 방식이 성능과 일반화 능력을 제한하는 데 기여한다.
• 기본 커널의 볼록 조합 기반 학습 커널 알고리즘이 항상 균일 조합 기반 베이스라인을 능가하지 못하는 오랜 한계를 극복한다.
• 커널 행렬 간의 유사도 측정법으로 중심화된 정렬을 사용한 이론적으로 타당하고 경험적으로 효과적인 커널 학습 프레임워크를 개발한다.
• 중심화된 정렬 기반 학습 커널 알고리즘에 대한 일반화 보장과 안정성 한계를 제공하여 이론적 타당성을 확보한다.

제안 방법

• 논문은 중심화된 정렬을 커널 행렬 간의 유사도 측정법으로 정의하며, 중심화된 커널 행렬 간의 정규화된 내적으로 표현된다.
• 최대 정렬 커널을 학습하는 문제를 볼록 최적화 문제로 공식화하며, 표준 이차계획문제(QP)로 환원 가능하다.
• 정렬 기반 정규화를 통한 단일 단계 알고리즘을 제안하며, 커널과 가설을 동시에 학습하는 방식으로 커널 학습과 예측자 학습을 하나의 최적화 단계에 통합한다.
• 이론적 분석은 중심화된 정렬에 대한 새로운 농도 경계를 포함하며, 이는 이 유사도 측정법의 신뢰성을 입증한다.
• 분류 및 회귀 설정 모두에서 높은 정렬을 가진 커널에 대해 효과적인 예측자 존재성을 수립한다.
• 안정성 분석을 통해 일반화 경계를 유도하며, 중심화된 정렬 기반 학습 커널 알고리즘에 유리한 이론적 보장을 보여준다.

실험 결과

연구 질문

• RQ1 중심화된 정렬은 학습 커널에 대해 신뢰성 있고 효과적인 유사도 측정법이 될 수 있는가? 기존 방법보다 뛰어나게 성능을 발휘하는가?
• RQ2 중심화된 정렬을 최대화하는 방식으로 커널을 학습하면, 분류 및 회귀 문제에서 균일 조합보다 더 우수한 일반화 및 성능을 달성할 수 있는가?
• RQ3 정렬 기반 정규화를 통해 커널과 예측자를 동시에 학습하는 단일 단계 알고리즘이 이중 단계 접근법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 중심화된 정렬 기반 학습 커널 알고리즘에 대해 농도 경계 및 일반화 안정성과 같은 이론적 보장을 어떻게 확보할 수 있는가?
• RQ5 제안된 알고리즘은 다양한 데이터셋에서 Lanckriet 등(2004) 및 Cortes 등(2009a)과 같은 기존 방법과 비교해 실제로 어떻게 성능을 냈는가?

주요 결과

• 제안된 정렬 기반 알고리즘은 모든 테스트된 분류 및 회귀 데이터셋에서 균일 조합 기반 베이스라인을 일관되게 능가한다.
• alignf 방법은 Spambase 제외 전부의 데이터셋에서 균일 기반 베이스라인을 크게 향상시키며, Splice 제외 전부의 데이터셋에서 단일 단계 방법을 초월한다.
• 회귀 문제에서는 DVD 제외 전부의 데이터셋에서 균일 조합 및 단일 단계 조합 방법보다 유의미하게 성능 향상을 보이며, DVD에서는 l2-krr에 비해 유의미한 향상이 없다.
• 이론적 결과로 중심화된 정렬에 대한 농도 경계를 도출하여 통계적 안정성을 입증하였으며, 안정성 기반 일반화 경계를 유도하여 방법의 신뢰성을 뒷받침한다.
• 경험적 결과는 제안된 알고리즘이 최신 기술 성능을 달성함을 확인하며, 학습 커널 문헌에서 균일 조합 기반 베이스라인을 일관되게 뛰어넘는 첫 번째 사례임을 나타낸다.