[논문 리뷰] Randomized sketches for kernels: Fast and optimal non-parametric regression

Yun Yang, Mert Pilancı외 1명|arXiv (Cornell University)|2015. 01. 25.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 18

한 줄 요약

이 논문은 랜덤 프로젝션을 사용하여 커널 행렬을 낮은 차원의 부분공간에 투영함으로써 커널 리지 회귀(KRR)의 계산 속도를 향상시키는 랜덤화 스케칭 방법을 제안한다. 스케칭 차원 $ m $이 통계적 차원 $ d_n $에 비례할 경우(로그 인자까지 고려), 최소최대 최적성(minimax optimality)이 유지됨을 증명하며, 이는 $ \mathcal{O}(m^3) $의 시간 복잡도로 $ \mathcal{O}(n^3) $보다 빠른 비모수적 회귀를 가능하게 한다.

ABSTRACT

Kernel ridge regression (KRR) is a standard method for performing non-parametric regression over reproducing kernel Hilbert spaces. Given $n$ samples, the time and space complexity of computing the KRR estimate scale as $\mathcal{O}(n^3)$ and $\mathcal{O}(n^2)$ respectively, and so is prohibitive in many cases. We propose approximations of KRR based on $m$-dimensional randomized sketches of the kernel matrix, and study how small the projection dimension $m$ can be chosen while still preserving minimax optimality of the approximate KRR estimate. For various classes of randomized sketches, including those based on Gaussian and randomized Hadamard matrices, we prove that it suffices to choose the sketch dimension $m$ proportional to the statistical dimension (modulo logarithmic factors). Thus, we obtain fast and minimax optimal approximations to the KRR estimate for non-parametric regression.

연구 동기 및 목표

• 샘플 수 $ n $에 대해 시간 복잡도 $ \mathcal{O}(n^3) $ 및 공간 복잡도 $ \mathcal{O}(n^2) $로 증가하는 커널 리지 회귀(KRR)의 높은 계산 비용을 해결하기 위함.
• 통계적 최소최대 최적성을 유지하면서 계산 비용이 효율적인 KRR의 근사화 방법을 개발하기 위함.
• 근사 KRR 추정량이 여전히 최소최대 최적임을 보장하기 위한 최소 스케칭 차원 $ m $을 결정하기 위함.
• 가우시안 행렬 및 랜덤화 허담드 행렬과 같은 다양한 스케칭 행렬의 성능을 분석하여 통계적 최적성을 유지하는지 확인하기 위함.

제안 방법

• 샘플 수 $ n $에 대해 $ n \times n $ 크기의 커널 행렬을 $ m \ll n $ 차원의 스케칭을 사용해 근사화하고, 행 및 열 부분공간을 $ m $ 차원 부분공간으로 투영함.
• 가우시안 행렬 또는 랜덤화 허담드 변환과 같은 구조적 행렬을 사용하여 스케칭을 구성함.
• 시간 복잡도를 $ \mathcal{O}(m^3) $으로 줄이기 위해, 더 작은 $ m $ 차원의 이차 프로그래밍 문제의 해로 근사 KRR 추정량을 정의함.
• 통계적 차원 $ d_n $, 즉 커널 행렬의 유효 랭크로 정의된 스케칭 차원 $ m $과의 관계를 통해 이론적 보장을 수립함.
• 연결 불확도 불등식과 행렬 체르노프 경계를 적용하여 스케칭 오차의 연산자 노름을 제어함으로써 안정성과 최소최대 최적성을 보장함.
• 스케칭 행렬에 대한 약한 조건 하에 $ m = \mathcal{O}(d_n \log n) $이면 최소최대 최적성이 확보됨을 증명함.

실험 결과

연구 질문

• RQ1 커널 리지 회귀에서 최소최대 최적성을 유지하기 위해 필요한 최소 스케칭 차원 $ m $는 얼마인가?
• RQ2 가우시안 또는 구조적 행렬(예: 랜덤화 허담드 행렬) 기반의 랜덤화 스케칭이 $ m \ll n $ 조건에서도 최소최대 최적 성능을 달성할 수 있는가?
• RQ3 커널 행렬의 통계적 차원 $ d_n $은 최적 추정을 위해 필요한 스케칭 크기와 어떻게 관련이 있는가?
• RQ4 스케칭을 통해 KRR의 계산 복잡도를 얼마나 줄일 수 있으며, 통계적 효율성은 어느 정도 손실되지 않는가?

주요 결과

• 스케칭 차원 $ m $는 통계적 차원 $ d_n $에 비례하며, 로그 인자까지 고려할 경우 KRR 추정량의 최소최대 최적성이 유지됨.
• 가우시안 및 랜덤화 허담드 스케칭 행렬의 경우, $ m = \mathcal{O}(d_n \log n) $ 조건에서 최소최대 최적의 예측 리스크를 달성함.
• 이론적 분석을 통해 측정의 집중성과 행렬 체르노프 경계를 활용하여 스케칭 오차가 높은 확률로 제어됨을 확인함.
• 시간 복잡도는 $ \mathcal{O}(n^3) $에서 $ \mathcal{O}(m^3) $으로, 공간 복잡도는 $ \mathcal{O}(n^2) $에서 $ \mathcal{O}(m^2) $로 감소하여 대규모 응용에 적합함.
• 사전 처리 복잡도 $ \mathcal{O}(n^2 \log m) $가 간단히 병렬화 가능하며, $ t \leq n $ 개의 클러스터에 분산 처리할 수 있음.