[논문 리뷰] On Fast Leverage Score Sampling and Optimal Learning

Alessandro Rudi, Daniele Calandriello외 2명|arXiv (Cornell University)|2018. 10. 31.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 15

한 줄 요약

이 논문은 커널 방법에서 빠르고 정확한 리지어 스코어 샘플링을 위한 새로운 알고리즘인 BLESS를 소개한다. 이 알고리즘은 적응형 정규화 경로를 활용한 굵은에서 세밀한 전략을 취하며, 커널 리지 회귀에서 최고 수준의 계산 효율성과 정확도를 달성한다. 시간 복잡도와 공간 복잡도는 각각 $\tilde{\mathcal{O}}(n d_{\text{eff}})$ 와 $\tilde{\mathcal{O}}(d_{\text{eff}}^2)$ 로 줄여, 여기서 $d_{\text{eff}}$ 는 유효 차원이며, 균일 샘플링 방법에 비해 크게 향상된다.

ABSTRACT

Leverage score sampling provides an appealing way to perform approximate computations for large matrices. Indeed, it allows to derive faithful approximations with a complexity adapted to the problem at hand. Yet, performing leverage scores sampling is a challenge in its own right requiring further approximations. In this paper, we study the problem of leverage score sampling for positive definite matrices defined by a kernel. Our contribution is twofold. First we provide a novel algorithm for leverage score sampling and second, we exploit the proposed method in statistical learning by deriving a novel solver for kernel ridge regression. Our main technical contribution is showing that the proposed algorithms are currently the most efficient and accurate for these problems.

연구 동기 및 목표

• 대규모 커널 방법에서 정확한 리지어 스코어 계산의 계산 병목 현상을 해결하기 위해.
• 정규화된 양의 정의 행렬에서 근사 리지어 스코어 샘플링을 위한 빠르고 정확하며 분산되지 않은 알고리즘을 개발하기 위해.
• 균일 샘플링을 리지어 스코어 샘플링으로 대체하여 커널 리지 회귀의 계산 효율성을 향상시키기 위해.
• 유효 차원 $d_{\text{eff}}$ 비례하여 시간과 메모리 복잡도를 감소시켜 최적의 학습 경계를 달성하기 위해.
• 제안된 방법에 대한 근사 정확도와 계산 복잡도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 진행적으로 더 큰 집합에서 균일 샘플링과 리지어 스코어 샘플링을 번갈아 사용하는 굵은에서 세밀한 알고리즘인 BLESS를 제안한다.
• 점차 감소하는 정규화 파rameter $\lambda_h$ 의 시퀀스를 사용하여 리지어 스코어 추정치를 점진적으로 정밀화하고, 곱셈 정확도 경계를 보장한다.
• 효율적인 근사 리지어 스코어 계산을 위해 크기가 $1/\lambda_h$ 비례하는 중간 균일 샘플링 집합 $U_h$ 를 활용한다.
• 명시적인 중간 집합을 피하고 동일한 복잡도 경계를 유지하는 거절 샘플링 변종인 BLESS-R을 도입한다.
• 특히 $M_h \propto d_{\text{eff}}(\lambda_h)$ 이므로 샘플 수가 유효 차원에 따라 스케일링됨을 활용한다.
• 학습 단계에서 최적의 수렴 속도를 달성하기 위해 조건부 공액 기울기 방법을 사용한다.

실험 결과

연구 질문

• RQ1 분산 컴퓨팅을 사용하지 않고도 리지어 스코어 샘플링에서 최고 수준의 정확도를 달성할 수 있는가?
• RQ2 리지어 스코어 샘플링이 균일 샘플링보다 커널 리지 회귀의 시간과 공간 복잡도를 낮출 수 있는가?
• RQ3 커널 행렬에 대한 리지어 스코어 샘플링에서 근사 정확도와 계산 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 완전한 고유분해 없이 순차적이고 적응적인 방식으로 리지어 스코어를 효율적으로 계산할 수 있는가?
• RQ5 유효 차원 $d_{\text{eff}}$ 는 $\sqrt{n}$ 을 대체하여 커널 방법의 자연스러운 복잡도 파라미터로 기능할 수 있는가?

주요 결과

• 제안된 BLESS 알고리즘은 분산 자원을 요구하지 않으면서도 리지어 스코어 샘플링 분야에서 최고 수준의 정확도와 계산 복잡도를 달성한다.
• 제안된 커널 리지 회귀 솔버의 시간 복잡도는 $\tilde{\mathcal{O}}(n d_{\text{eff}})$ 이며, 공간 복잡도는 $\tilde{\mathcal{O}}(d_{\text{eff}}^2)$ 이다. 여기서 $d_{\text{eff}} \leq \sqrt{n}$ 이다.
• 정규화 경로에 의해 제어되는 $t$ 를 갖는 형태의 곱셈 정확도 경계 $\frac{1}{1+t}\ell(i,\lambda) \leq \widetilde{\ell}(i,\lambda) \leq (1+t)\ell(i,\lambda)$ 를 유지한다.
• 크기가 $\propto 1/\lambda_h$ 인 중간 균일 샘플링 집합 $U_h$ 의 사용은 충분한 정확도를 확보하면서도 계산 비용을 낮춘다.
• BLESS-R은 BLESS와 동일한 복잡도 경계를 달성하지만, 거절 샘플링을 통해 명시적인 중간 집합을 피함으로써 더 간단한 구현을 가능하게 한다.
• 이론적 분석은 이 방법이 커널 리지 회귀에 대해 최적의 학습 경계를 달성함을 확인하며, 문헌에서 알려진 최고 수준의 보장을 그대로 따름을 보여준다.