[논문 리뷰] Near Input Sparsity Time Kernel Embeddings via Adaptive Sampling

David P. Woodruff, Amir Zandieh|arXiv (Cornell University)|2020. 07. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다항식 및 가우시안 커널의 커널 임bedding에 대해 입력 흐어난도에 가까운 시간 복잡도를 달성하는 적응형 샘플링 알고리즘을 제안한다. 중요도 기반 샘플링을 통해 스펙트럼 근사 보장을 보장하며, 이는 이전의 무작위 스케치 방법 대비 $ q^{5/2}/\epsilon^2 $ 배의 런타임 감소를 가능하게 하여 입력 흐어난도에 선형적 의존성을 확보하고, $ O(s_\lambda / \epsilon^2 \log n) $의 목표 차원을 제공한다. 이는 대규모 회귀에서 강력한 경험적 성능을 보인다.

ABSTRACT

To accelerate kernel methods, we propose a near input sparsity time algorithm for sampling the high-dimensional feature space implicitly defined by a kernel transformation. Our main contribution is an importance sampling method for subsampling the feature space of a degree $q$ tensoring of data points in almost input sparsity time, improving the recent oblivious sketching method of (Ahle et al., 2020) by a factor of $q^{5/2}/ε^2$. This leads to a subspace embedding for the polynomial kernel, as well as the Gaussian kernel, with a target dimension that is only linearly dependent on the statistical dimension of the kernel and in time which is only linearly dependent on the sparsity of the input dataset. We show how our subspace embedding bounds imply new statistical guarantees for kernel ridge regression. Furthermore, we empirically show that in large-scale regression tasks, our algorithm outperforms state-of-the-art kernel approximation methods.

연구 동기 및 목표

• 커널 행렬 계산으로 인해 $ O(n^2) $의 공간과 시간 복잡도를 요구하는 커널 방법의 확장성 문제를 해결하기 위해.
• 입력 흐어난도 $ \text{nnz}(X) $ 에 대해 거의 선형적인 런타임을 갖는 다항식 및 가우시안 커널에 대한 부분공간 임베딩을 설계하기 위해.
• 통계 차원 $ s_\lambda $ 에 비례하는 목표 차원 $ s = O(s_\lambda / \epsilon^2 \log n) $ 를 확보하면서, 높은 확률로 스펙트럼 근사 보장을 달성하기 위해.
• 다항식 커널에 대해 이전의 무작위 스케치 방법 대비 $ q^{5/2}/\epsilon^2 $ 배의 런타임 감소를 달성하기 위해.
• 제안된 임베딩 프레임워크를 사용하여 커널 리지 회귀에 대한 새로운 통계적 보장을 제공하기 위해.

제안 방법

• 입력 데이터 포인트의 차수-$ q $ 텐서 곱의 특징 공간을 서브샘플링하기 위한 적응형 중요도 기반 샘플링 방법을 제안한다.
• 상승된 특징 행렬의 행 노름을 기반으로 하는 재귀적 샘플링을 통해 정보성 높은 특징을 우선순위로 배정함으로써 분산을 감소시키고 근사 품질을 향상시킨다.
• 지수적으로 감소하는 전개를 갖는 내적 다항식 커널(예: 역다항식 커널)의 테일러 전개에 이 방법을 적용한다.
• 커널 행렬 $ K $ 에 대해 $ Z^\top Z $ 가 $ (\epsilon, \lambda) $-스펙트럼 근사로 작용하도록 스펙트럼 근사 경계를 유도하며, 이는 $ \| (K + \lambda I)^{-1/2} (Z^\top Z + \lambda I) (K + \lambda I)^{-1/2} - I \| \leq \epsilon $ 를 보장한다.
• 정확도 향상을 위해 최소한의 오버헤드로 다중 라운드에 걸쳐 샘플링 확률을 적응적으로 개선하는 재귀적 절차(알고리즘 1)를 적용한다.
• 커널을 단절된 테일러 급수로 근사하고, 그 결과로 나오는 다항식 항들에 동일한 샘플링 전략을 적용함으로써 가우시안 커널에 이 방법을 확장한다.

실험 결과

연구 질문

• RQ1 입력 흐어난도에 가까운 시간 복잡도를 갖는 다항식 및 가우시안 커널에 대한 부분공간 임베딩을 달성할 수 있는가? 목표 차원이 통계 차원 $ s_\lambda $ 에 선형적으로 의존하는가?
• RQ2 이전의 무작위 스케치 방법 대비 $ q^{5/2}/\epsilon^2 $ 배의 런타임 감소를 달성할 수 있는가?
• RQ3 대규모 회귀 작업에서, 균일하거나 무작위 샘플링보다 적응형 중요도 기반 샘플링이 더 높은 근사 품질과 더 낮은 목표 차원을 제공하는가?
• RQ4 테일러 전개가 지수적으로 감소하는 다른 내적 커널에 대해서도 이 방법을 일반화할 수 있는가?
• RQ5 제안된 임베딩을 사용할 경우, 커널 리지 회귀에 대한 통계적 및 알고리즘적 보장은 무엇인가?

주요 결과

• 제안된 적응형 샘플링 알고리즘은 $ O(\text{poly}(\epsilon^{-1}, q, \log n) \cdot s_\lambda^2 n + q^{5/2} \log^4 n \cdot \text{nnz}(X)) $ 의 시간 복잡도를 갖으며, 입력 흐어난도에 근접한 성능을 달성한다.
• 다항식 커널에 대해, 이전의 무작위 스케치 방법 대비 동일한 목표 차원 $ O(s_\lambda / \epsilon^2 \log n) $ 를 유지하면서 $ q^{5/2}/\epsilon^2 $ 배의 런타임 감소를 달성한다.
• 가우시안 커널 임베딩은 커널의 테일러 전개를 차수 $ O(\log n) $ 에서 단절함으로써 달성되며, 이는 다항식 방법의 적용을 가능하게 한다.
• 경험적으로, 전체 적응형 알고리즘(Adaptive)은 모든 데이터셋에서 가장 낮은 테스트 RMSE를 기록했으며, 경쟁 방법들보다 훨씬 더 낮은 목표 차원 $ s $ 를 확보했다.
• 행렬 노름 변형(단일라운드 샘플링)은 푸리에 특징보다 빠르고, Nystrom 및 무작위 스케치보다도 더 빠르며, RMSE는 동등하거나 더 우수한 성능을 보였다.
• 제안된 방법은 $ Z^\top Z $ 가 $ K $ 에 대해 $ (\epsilon, \lambda) $-스펙트럼 근사로 작용함을 보장함으로써, 커널 리지 회귀의 해에 대한 오차 경계를 유도하는 새로운 통계적 보장을 제공한다.