[논문 리뷰] Hierarchically Compositional Kernels for Scalable Nonparametric Learning

Jie Chen, Haim Avron외 1명|arXiv (Cornell University)|2016. 08. 02.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 3

한 줄 요약

이 논문은 데이터 영역의 계층적 분할을 통해 전역적 저질서 근사와 국소적 손실 없는 근사를 조합함으로써 확장 가능한 비모수적 학습을 가능하게 하는 계층적 조합 커널을 소개한다. 결과적으로 생성된 커널 행렬은 재귀적 비대각선 저질서 구조를 가지며, 학습 메모리와 산술 복잡도를 각각 $O(n^2)$ 및 $O(n^3)$에서 $O(nr)$ 및 $O(nr^2)$로 감소시키지만, 엄격한 양의 정부호성을 유지하면서도 다른 근사 커널보다 더 작은 질서 $r$로 경쟁적인 성능을 달성한다.

ABSTRACT

We propose a novel class of kernels to alleviate the high computational cost of large-scale nonparametric learning with kernel methods. The proposed kernel is defined based on a hierarchical partitioning of the underlying data domain, where the Nyström method (a globally low-rank approximation) is married with a locally lossless approximation in a hierarchical fashion. The kernel maintains (strict) positive-definiteness. The corresponding kernel matrix admits a recursively off-diagonal low-rank structure, which allows for fast linear algebra computations. Suppressing the factor of data dimension, the memory and arithmetic complexities for training a regression or a classifier are reduced from $O(n^2)$ and $O(n^3)$ to $O(nr)$ and $O(nr^2)$, respectively, where $n$ is the number of training examples and $r$ is the rank on each level of the hierarchy. Although other randomized approximate kernels entail a similar complexity, empirical results show that the proposed kernel achieves a matching performance with a smaller $r$. We demonstrate comprehensive experiments to show the effective use of the proposed kernel on data sizes up to the order of millions.

연구 동기 및 목표

• 데이터 수 $n$이 증가함에 따라 밀도적이고 구조가 없는 커널 행렬로 인해 성능이 급격히 떨어지는 대규모 커널 방법의 높은 계산 비용을 해결하기 위해.
• 구조화된 저질서 근사를 통해 효율적인 계산을 가능하게 하면서도 엄격한 양의 정부호성을 유지하는 커널 구성 방법을 개발하기 위해.
• 계층적 데이터 분할을 활용하여 커널 리지 회귀 및 분류의 메모리 및 산술 복잡도를 각각 $O(n^2)$ 및 $O(n^3)$에서 $O(nr)$ 및 $O(nr^2)$로 감소시키기 위해.
• 기본 커널 방법이 비현실적이게 되는 수백만 개의 데이터 포인트에 이르는 데이터 세트에서도 커널 방법을 효과적으로 사용할 수 있도록 하기 위해.
• 최대우도 기반의 체계적인 하이퍼파rameter 추정을 지원하여 고차원 설정에서도 커널 하이퍼파rameter 최적화가 가능하도록 하기 위해.

제안 방법

• 이 방법은 데이터 영역을 중첩된 클러스터로 계층적 분할하여, 비대각선 블록의 재귀적 저질서 근사를 가능하게 한다.
• 전역적 저질서 근사를 위한 Nyström 방법과 각 분할 내에서의 국소적 손실 없는 커널 평가를 조합함으로써 정확성과 양의 정부호성을 유지한다.
• 비대각선 블록이 저질서임을 보장하는 커널 행렬의 구조를 설정함으로써 재귀적 행렬 분해를 통한 빠른 선형 대수 연산을 가능하게 한다.
• 디자인 단계에서 엄격한 양의 정부호성을 보장함으로써, 커널이 가우시안 프로세스 및 커널 리지 회귀 프레임워크에서 사용될 수 있도록 보장한다.
• 새로운 점의 샘플링 예측은 명시적 커널 함수와 계층적 분할 덕분에 간단하게 수행되며, 새로운 점의 클러스터 소속은 중심점까지의 최소 거리에 의해 정의된다.
• 재귀적 저질서 행렬을 위한 전용 알고리즘을 통해 로그행렬식과 행렬 역행렬 항목의 효율적 계산을 지원함으로써 확장 가능한 최대우도 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 대규모 데이터에서 커널 방법의 메모리 복잡도를 $O(n^2)$ 이하, 산술 복잡도를 $O(n^3)$ 이하로 낮추면서도 엄격한 양의 정부호성을 유지할 수 있는 커널을 구성할 수 있는가?
• RQ2 어떻게 계층적 분할과 저질서 근사를 조합하여 커널 정확도를 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ3 제안된 커널이 다른 랜덤화 근사 커널보다 더 작은 질서 $r$로 동일하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 커널 행렬의 재귀적 저질서 구조를 어떻게 활용하여 커널 하이퍼파rameter에 대한 효율적인 최대우도 추정을 가능하게 할 수 있는가?
• RQ5 이 방법은 수백만 개의 데이터 포인트에 이르는 데이터 세트에 대해 확장 가능할 수 있으며, 기존 커널 방법과 실질적으로 비교해 볼 때 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 커널은 학습 메모리 및 산술 복잡도를 각각 $O(n^2)$ 및 $O(n^3)$에서 $O(nr)$ 및 $O(nr^2)$로 감소시키며, $r$은 각 계층 수준에서의 질서이다.
• 실험 결과, 제안된 커널은 다른 근사 커널과 동일하거나 더 뛰어난 성능를 달성하면서도 더 작은 질서 $r$을 요구함으로써 더 높은 효율성을 보였다.
• 커널 행렬의 구조 덕분에 재귀적 알고리즘을 통해 로그행렬식과 행렬 역행렬 항목의 계산이 빠르게 수행되며, 이는 확장 가능한 최대우도 추정을 지원한다.
• 이 방법은 수백만 개의 예제에 이르는 데이터 세트에서도 효과적이며, 일반적인 커널 방법의 한계를 초월한 실질적 확장성을 입증한다.
• 커널은 엄격한 양의 정부호성을 유지하여 모든 커널 기반 학습 및 가우시안 프로세스 추론 작업에서 유효성을 확보한다.
• 샘플링 외 예측은 간단하며, 새로운 점의 분할 소속은 계층적 분할에서 중심점까지의 최소 거리에 의해 결정된다.