[논문 리뷰] On the Complexity of Learning with Kernels

Nicolò Cesa‐Bianchi, Yishay Mansour외 1명|arXiv (Cornell University)|2014. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 8

한 줄 요약

이 논문은 커널 학습의 계산 복잡도에 대한 기본 하한을 설정하며, 특정 문제들에 대해서는 제한된 커널 행렬 원소나 저랭크 근사에 의존하는 방법이 비현실적인 계산적 절감을 달성할 수 없음을 보여준다. 주요 기여는 손실 함수, 정규화, 예측자 노름, 커널 행렬 랭크에 따라 효율적인 커널 학습이 본질적으로 불가능한 조건을 이론적으로 규명한 것이다.

ABSTRACT

A well-recognized limitation of kernel learning is the requirement to handle a kernel matrix, whose size is quadratic in the number of training examples. Many methods have been proposed to reduce this computational cost, mostly by using a subset of the kernel matrix entries, or some form of low-rank matrix approximation, or a random projection method. In this paper, we study lower bounds on the error attainable by such methods as a function of the number of entries observed in the kernel matrix or the rank of an approximate kernel matrix. We show that there are kernel learning problems where no such method will lead to non-trivial computational savings. Our results also quantify how the problem difficulty depends on parameters such as the nature of the loss function, the regularization parameter, the norm of the desired predictor, and the kernel matrix rank. Our results also suggest cases where more efficient kernel learning might be possible.

연구 동기 및 목표

• 서브셋 샘플링이나 저랭크 근사와 같은 일반적인 기법에도 불구하고 커널 학습에서 효율적 근사를 방해하는 본질적인 계산 장벽을 규명하는 것.
• 커널 학습 문제에서 비현실적인 오차 한계를 달성하기 위해 필요한 최소한의 커널 원소 수나 랭크를 정량화하는 것.
• 손실 함수 유형, 정규화 파라미터, 예측자 노름, 커널 행렬 랭크에 따라 문제의 난이도가 어떻게 달라지는지 분석하는 것.
• 더 효율적인 커널 학습이 여전히 가능할 수 있는 조건을 규명하는 것.

제안 방법

• 커널 행렬에서 제한된 수의 원소만 접근하는 어떤 커널 학습 알고리즘의 오차에 대한 하한을 유도하는 것.
• 관측된 커널 원소의 수와 달성 가능한 일반화 오차 사이의 상호 관계를 분석하는 것.
• 스펙트럼 분해와 행렬 근사 기법을 사용하여 커널 행렬의 구조와 학습 복잡도 사이의 관계를 규명하는 것.
• 기존의 어려운 문제로의 감소를 통해 일부 커널 학습 문제가 효율적으로 근사될 수 없음을 보여주는 것.
• 완전한 커널 행렬 접근과 저랭크 근사 모두를 계산 제약 조건으로 고려하는 것.
• 레프레젠터 정리를 적용하여 학습 문제를 훈련 특징의 스칼라 벡터 공간에서의 최적화 문제로 줄이는 것.

실험 결과

연구 질문

• RQ1 커널 행렬의 원소를 부분선형 수준 이하로만 관측하는 방식으로 커널 학습을 효율적으로 근사할 수 있는가?
• RQ2 커널 행렬의 저랭크 근사를 통해 비현실적인 오차 한계를 달성하는 것이 가능한가?
• RQ3 손실 함수의 선택이 커널 학습의 계산 복잡도에 어떻게 영향을 미치는가?
• RQ4 정규화 파라미터는 효율적인 커널 학습의 가능성을 결정하는 데 어떤 역할을 하는가?
• RQ5 어떤 조건에서 효율적인 커널 학습이 증명적으로 불가능한가?

주요 결과

• 서브라인어 수준의 커널 원소 샘플링에 의존하는 어떤 방법이라도 비현실적인 오차 한계를 달성할 수 없는 커널 학습 문제들이 존재한다.
• 주어진 오차 수준을 달성하기 위해 필요한 커널 원소의 수는 커널 행렬의 랭크와 손실 함수의 성질에 따라 달라진다.
• 일부 손실 함수와 정규화 파라미터에 대해서는 심지어 저랭크 근사조차도 계산 절감을 제공하지 못한다.
• 커널 학습의 난이도는 원하는 예측자 노름과 커널 행렬의 스펙트럼 성질과 정량적으로 연관되어 있다.
• 더 효율적인 커널 학습이 이론적으로 가능할 수 있는 특정 매개변수 영역을 규명하여 어려운 경우와 다룰 수 있는 경우의 경계를 제시한다.
• 결과적으로 일부 문제에서는 좋은 일반화를 달성하기 위해 전체 커널 행렬을 계산해야 하며, 이는 확장 가능한 근사 기법을 배제함을 시사한다.