[논문 리뷰] Accumulations of Projections—A Unified Framework for Random Sketches in Kernel Ridge Regression

Yifan Chen, Yun Yang|arXiv (Cornell University)|2021. 03. 18.

Face and Expression Recognition인용 수 2

한 줄 요약

이 논문은 m개의 재스케일링된 부분 샘플링 행렬을 누적하여 커널 리지 회귀 스케칭을 위한 통합 프레임워크를 제안한다. 이는 m=1일 때의 Nystrom과 m=∞일 때의 서브-가우시안 스케칭을 통합한다. 비균일성이 높을 경우 부분 샘플링보다 정확도가 향상되며, 계산 비용이 높은 서브-가우시안 스케칭을 가속화하여 최소한의 계산 오버헤드로 효율성과 정확성 사이의 거의 최적의 트레이드오프를 달성한다.

ABSTRACT

Building a sketch of an n-by-n empirical kernel matrix is a common approach to accelerate the computation of many kernel methods. In this paper, we propose a unified framework of constructing sketching methods in kernel ridge regression (KRR), which views the sketching matrix S as an accumulation of m rescaled sub-sampling matrices with independent columns. Our framework incorporates two commonly used sketching methods, sub-sampling sketches (known as the Nystrom method) and sub-Gaussian sketches, as special cases with m=1 and m=infinity respectively. Under the new framework, we provide a unified error analysis of sketching approximation and show that our accumulation scheme improves the low accuracy of sub-sampling sketches when certain incoherence characteristic is high, and accelerates the more accurate but computationally heavier sub-Gaussian sketches. By optimally choosing the number m of accumulations, we show that a best trade-off between computational efficiency and statistical accuracy can be achieved. In practice, the sketching method can be as efficiently implemented as the sub-sampling sketches, as only minor extra matrix additions are needed. Our empirical evaluations also demonstrate that the proposed method may attain the accuracy close to sub-Gaussian sketches, while is as efficient as sub-sampling-based sketches.

연구 동기 및 목표

• 커널 리지 회귀에서 기존 스케칭 방법들을 하나의 이론적 프레임워크로 통합하기.
• 비균일성이 높은 영역에서 부분 샘플링 스케칭(Nystrom)의 한계를 해결하기.
• 높은 정확성을 유지하면서 계산 비용이 큰 서브-가우시안 스케칭을 가속화하기.
• 스케칭 행렬의 누적 수를 제어함으로써 계산 효율성과 통계적 정확성 사이의 최적 트레이드오프를 달성하기.

제안 방법

• 스케칭 행렬 S를 독립적인 열을 가진 m개의 재스케일링된 부분 샘플링 행렬의 누적으로 모델링한다.
• 이로써 부분 샘플링 스케칭(Nystrom, m=1)과 서브-가우시안 스케칭(m=∞)을 동일한 프레임워크의 극단적인 경우로 일반화한다.
• 누적된 부분 샘플링 행렬의 수 m을 조절하여 두 극단 사이의 부드러운 전이를 가능하게 한다.
• 통합 프레임워크 하에서 오차 분석을 유도하여 다양한 m 값에서의 근사 정확도를 정량화한다.
• 표준 부분 샘플링을 초과하는 추가적인 행렬 덧셈이 거의 필요 없어 효율적인 구현을 지원한다.
• 계산 비용과 추정 오차를 균형 잡기 위해 최적의 m를 선택하여 실무에서 최선의 트레이드오프를 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 커널 리지 회귀에서 부분 샘플링과 서브-가우시안 스케칭 방법을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 누적 파라미터 m이 스케칭 근사의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 비균일성 특성이 높을 경우 제안된 프레임워크가 부분 샘플링 스케칭의 정확도를 향상시킬 수 있는가?
• RQ4 이 프레임워크는 정확도를 희생시키지 않고 서브-가우시안 스케칭을 더 효율적으로 계산할 수 있도록 지원하는가?
• RQ5 계산 비용과 통계적 성능 사이의 균형을 가장 잘 맞추는 누적 수 m의 최적 값은 무엇인가?

주요 결과

• 제안된 프레임워크는 m=1일 때 부분 샘플링(Nystrom)과 m=∞일 때 서브-가우시안 스케칭을 각각 특수한 경우로 통합한다.
• 커널 행렬의 비균일성 특성이 높을 경우 부분 샘플링 스케칭의 정확도가 향상된다.
• 프레임워크는 서브-가우시안 스케칭의 계산 부담을 줄여 효율성을 높이면서도 높은 정확도를 유지한다.
• 최적의 m 선택을 통해 계산 효율성과 통계적 정확성 사이의 유리한 트레이드오프를 달성한다.
• 실험 결과는 본 방법이 서브-가우시안 스케칭 수준의 정확도를 달성하면서도 부분 샘플링 기반 방법의 효율성과 유사한 성능을 보임을 보여준다.
• 구현에 필요한 추가 행렬 덧셈이 거의 없어 표준 부분 샘플링 스케칭과 동일한 효율성을 갖는다.