[논문 리뷰] A la Carte - Learning Fast Kernels

Zichao Yang, Alexander J. Smola외 2명|arXiv (Cornell University)|2014. 12. 19.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 17

한 줄 요약

이 논문은 스펙트럼 주파수를 그룹으로 학습하여 확장 가능하고 표현력 있는 커널 근사화를 가능하게 하는, 빠르고 유연하며 경량 파arameter화된 커널 학습 방법의 가족을 소개한다. 기존 방법들과 비교해 훨씬 적은 메모리와 학습 시간으로 최신 기술 수준의 정확도를 달성하며, 파arameter 수가 수십 배에서 수백 배 많아도 성능을 뛰어넘는다.

ABSTRACT

Kernel methods have great promise for learning rich statistical representations of large modern datasets. However, compared to neural networks, kernel methods have been perceived as lacking in scalability and flexibility. We introduce a family of fast, flexible, lightly parametrized and general purpose kernel learning methods, derived from Fastfood basis function expansions. We provide mechanisms to learn the properties of groups of spectral frequencies in these expansions, which require only O(mlogd) time and O(m) memory, for m basis functions and d input dimensions. We show that the proposed methods can learn a wide class of kernels, outperforming the alternatives in accuracy, speed, and memory consumption.

연구 동기 및 목표

• 대규모 현대 데이터셋을 위한 커널 방법에서의 확장성과 민첩성 간의 상충 관계를 해결하기 위해.
• 최적의 커널 형태에 대한 사전 지식이 없이도 커널 성질을 자동으로 학습할 수 있도록 하기 위해.
• 표현력 있고 계산적으로 효율적인 일반 목적의 커널 학습 프레임워크를 개발하기 위해.
• 스펙트럼 주파수를 그룹화하여 고차원 커널 학습에서 과적합과 계산 부담을 줄이기 위해.
• 다양한 실제 데이터셋에서 정확도, 속도, 메모리 소비 측면에서 기존 커널 방법을 뛰어넘기 위해.

제안 방법

• 기저 함수 전개를 통해 커널 함수를 근사하기 위해 Fastfood 기저 함수 전개를 활용하며, 이는 O(m log d)의 시간과 O(m)의 메모리로 수행되며, 여기서 m은 기저 함수의 수이고 d는 입력 차원이다.
• 모서리 우도 최적화를 통해 그룹화된 스펙트럼 주파수의 척도, 산란도, 위치를 학습하는 메커니즘을 도입한다.
• 네 가지 새로운 커널 학습 방법을 제안한다: 가우시안 믹스처(GM), 조각별 선형(PWL), ARD를 적용한 Fastfood 스펙트럼 기저함수(FSGBARD), RBF를 적용한 Fastfood 스펙트럼 기저함수(FSARD).
• 주파수 그룹의 학습을 통해 과적합 없이 임의로 많은 기저 함수를 허용하면서도 낮은 파arameter화를 유지한다.
• 가중치가 부여된 Fastfood 전개의 혼합을 적용하여 민감도가 없고 표현력 있는 커널을 학습하면서도 계산 효율성을 유지한다.
• 모서리 우도 최적화를 통해 그룹 수준의 주파수 파aram터를 조정하여 자유도가 매우 낮은 파arameter로도 적응형 커널 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 Fastfood 전개에서 스펙트럼 주파수를 적응적으로 학습시켜 계산 비용을 증가시키지 않으면서도 커널의 민감도를 향상시킬 수 있는가?
• RQ2 주파수 성질의 그룹화된 학습이 과적합을 줄이고 고도로 표현력 있는 확장 가능한 커널 학습을 가능하게 하는가?
• RQ3 정확도, 속도, 메모리 소비 측면에서 제안된 방법의 성능이 정확한 커널 방법과 기존의 빠른 근사 방법과 비교해 어떻게 되는가?
• RQ4 매우 많은 파arameter를 가진 모델들, 예를 들어 SSGPR와 비교해도 파arameter가 훨씬 적은 제안된 방법이 성능을 뛰어넘을 수 있는가?
• RQ5 그룹 수준의 주파수 성질을 학습할 수 있는 능력이 대규모이고 다양한 데이터셋에서 더 나은 일반화와 확장성을 이끌어내는가?

주요 결과

• GM 및 PWL 모델은 SSGPR가 수십 배에서 수백 배 많은 자유도 파arameter를 가진 상태에서도 예측 정확도에서 모든 대안보다 뛰어나다.
• SSGPR보다 훨씬 적은 파arameter를 가진 상태에서 GM 및 PWL는 유사하거나 더 높은 정확도를 달성하며, 메모리 소비와 학습 시간이 크게 줄어든다.
• FSGBARD는 SSGPR의 정확도를 따라잡지만, Fastfood 기반 표현 덕분에 훨씬 적은 메모리와 런타임을 요구한다.
• GM 및 PWL의 성능은 기저 함수의 수가 증가함에 따라 계속 향상되며, SSGPR 및 FSGBARD는 파arameter가 증가함에 따라 과적합 문제를 겪는다.
• 대규모 데이터셋(n > 2000)에서는 정확한 RBF 및 ARD 커널이 계산이 불가능해지지만, 제안된 방법들은 여전히 확장 가능하고 매우 정확하다.
• 다양한 실제 데이터셋에서 제안된 방법들은 정확도, 학습 시간, 테스트 시간, 메모리 소비 측면에서 최신 기술 수준의 성능을 달성한다.