[논문 리뷰] Bayesian Nonparametric Kernel-Learning

Junier B. Oliva, Avinava Dubey외 4명|arXiv (Cornell University)|2015. 06. 29.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 12

한 줄 요약

이 논문은 랜덤 주파수의 스펙트럼 분포에 비모수적 사전분포를 두어 커널을 학습하는 확장성 있고 데이터 기반인 베이지안 비모수 커널학습(BaNK)을 제안한다. 랜덤 특징과 딜레트 프로세스 혼합을 통한 베이지안 비모수 추론을 조합함으로써 BaNK는 효율적이고 해석 가능한 커널 학습을 가능하게 하며, 대규모 회귀 및 분류 과제에서 기존의 확장 가능한 방법들을 능가한다.

ABSTRACT

Kernel methods are ubiquitous tools in machine learning. However, there is often little reason for the common practice of selecting a kernel a priori. Even if a universal approximating kernel is selected, the quality of the finite sample estimator may be greatly affected by the choice of kernel. Furthermore, when directly applying kernel methods, one typically needs to compute a $N imes N$ Gram matrix of pairwise kernel evaluations to work with a dataset of $N$ instances. The computation of this Gram matrix precludes the direct application of kernel methods on large datasets, and makes kernel learning especially difficult. In this paper we introduce Bayesian nonparmetric kernel-learning (BaNK), a generic, data-driven framework for scalable learning of kernels. BaNK places a nonparametric prior on the spectral distribution of random frequencies allowing it to both learn kernels and scale to large datasets. We show that this framework can be used for large scale regression and classification tasks. Furthermore, we show that BaNK outperforms several other scalable approaches for kernel learning on a variety of real world datasets.

연구 동기 및 목표

• 커널 방법에서 원칙적이고 데이터 기반의 커널 선택 부족 문제를 해결하기 위해, 일반적으로 고정되거나 임의로 선택된 커널에 의해 제한되는 것을 방지한다.
• 대규모 데이터셋에서 커널 방법의 계산 복잡도 문제를 해결하기 위해, $N \times N$ 그램 행렬 계산으로 인한 $O(N^3)$ 연산을 줄이기 위함이다.
• 사전에 커널 가족을 제한하지 않고도 확장성 있고 해석 가능한 커널을 학습할 수 있는 프레임워크를 개발하기 위함이다.
• 랜덤 특징과 비모수적 사전분포를 조합하여, 다양한 정적 커널 클래스에 대해 효율적인 추론을 가능하게 하기 위함이다.
• 비해상적 최적화 방법의 해석 불가능성 문제를 피하고 불확실성 정량화를 지원하기 위해 커널에 대한 사후분포를 제공하기 위함이다.

제안 방법

• 정적 커널의 스펙트럼 밀도를 딜레트 프로세스 사전분포를 가진 가우시안 혼합모형으로 표현함으로써, 풍부한 커널 가족에 대한 비모수적 학습을 가능하게 한다.
• 랜덤 푸리에 특징을 사용하여 스펙트럼 밀도에서 몬테카를로 샘플링을 통해 커널 평가를 근사함으로써, $O(N^2)$ 복잡도를 $M$개의 랜덤 특징에 대해 $O(NM)$으로 감소시킨다.
• 스펙트럼 분포 $\mathcal{D}$ 를 잠재 변수로 간주하는 생성 모형을 적용하며, 회귀 및 분류에서 데이터 생성 과정에 따라 가능도를 정의한다.
• 메트로폴리스-해스팅스 MCMC 샘플링을 통해 스펙트럼 혼합 성분의 사후분포에서 샘플을 추출함으로써, 해석 가능하고 잘 校정된 커널 추정을 보장한다.
• 랜덤 특징 근사를 회귀 및 분류 모델에 통합하며, 혼합 성분과 주파수에 대한 깁스 샘플링을 통해 추론을 수행한다.
• 보흐너 정리에 의해 스펙트럼 측도와 커널 함수 사이의 이중성을 활용하여, 커널을 스펙트럼 도메인에서 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비모수적 사전분포를 사용하는 베이지안 프레임워크는 사전에 커널 가족을 고정하지 않고도 데이터 기반의 확장 가능한 커널 학습을 수행할 수 있는가?
• RQ2 랜덤 특징와 비모수적 사전분포를 어떻게 조합하여 대규모 데이터셋에서 효율적이고 해석 가능한 커널 학습을 가능하게 할 수 있는가?
• RQ3 랜덤 특징의 스펙트럼 분포를 학습하는 것이 고정되거나 최적화된 커널 선택에 비해 일반화 성능을 향상시키는가?
• RQ4 랜덤 특징의 수 $M$ 이 커널 학습 과정의 정확도와 런타임에 미치는 영향은 어느 정도인가?
• RQ5 스펙트럼 혼합의 사후분포는 비베이지안 최적화 기반 커널 학습에 비해 의미 있는 불확실성 정량화와 더 나은 일반화 성능을 제공하는가?

주요 결과

• BaNK는 RKS, MKL, AlaC, RFO와 같은 여러 확장 가능한 커널 학습 방법보다 다양한 실세계 회귀 및 분류 데이터셋에서 뛰어난 성능을 보였다.
• 랜덤 특징 수 $M$ 이 증가함에 따라 성능 향상이 이루어지나, $M=384$ 이후에는 수익 감소 현상이 나타나 커널 근사 품질의 수렴을 시사한다.
• 회귀의 경우 런타임이 $M$에 대해 제곱형태로 증가($O(NM^2)$)하고 분류의 경우 선형 증가($O(MNd)$)함으로써 이론적 복잡도 경계가 확인되었다.
• BaNK의 런타임은 AlaC와 RFO와 같은 다른 적응형 방법과 유사하며, 대규모 데이터셋에서도 실행 가능함을 보여 확장성을 입증했다.
• 합리적인 사후분포에서 MCMC 샘플링을 통해 학습된 커널은 비凸 최적화 기반 접근법과 달리 해석 가능하고 渐近적으로 일致함을 보였다.
• 더 많은 데이터를 활용해 더 나은 커널을 학습할 수 있음을 보여주며, $M$ 증가에 따라 더 큰 데이터셋에서의 성능 향상이 관찰되었다.