[논문 리뷰] FALKON: An Optimal Large Scale Kernel Method

Alessandro Rudi, Luigi Carratino외 1명|arXiv (Cornell University)|2017. 05. 31.

Machine Learning and Data Classification인용 수 19

한 줄 요약

FALKON은 뉴스트öm 근사, 조정된 공액 기울기 솔버, 확률적 부분표본 추출을 조합하여 대규모 학습에서 최적의 통계 정확도를 달성하는 새로운 커널 방법을 제안한다. 이는 O(n) 메모리와 O(n√n) 시간 복잡도를 갖는다. 단일 머신 환경에서 이전의 최첨단 방법들을 능가하며, 수백만 개의 데이터 포인트에서 분산 처리 방법을 능가하는 효율성과 정확도를 보인다.

ABSTRACT

Kernel methods provide a principled way to perform non linear, nonparametric learning. They rely on solid functional analytic foundations and enjoy optimal statistical properties. However, at least in their basic form, they have limited applicability in large scale scenarios because of stringent computational requirements in terms of time and especially memory. In this paper, we take a substantial step in scaling up kernel methods, proposing FALKON, a novel algorithm that allows to efficiently process millions of points. FALKON is derived combining several algorithmic principles, namely stochastic subsampling, iterative solvers and preconditioning. Our theoretical analysis shows that optimal statistical accuracy is achieved requiring essentially $O(n)$ memory and $O(n\sqrt{n})$ time. An extensive experimental analysis on large scale datasets shows that, even with a single machine, FALKON outperforms previous state of the art solutions, which exploit parallel/distributed architectures.

연구 동기 및 목표

• 커널 방법의 계산 및 메모리 병목 현상이 발생하는 대규모 학습 환경을 해결하기 위해.
• 시간과 공간 복잡도를 증명 가능하게 감소시켜 최적의 통계 정확도(즉, 최소 초과 위험)를 달성하기 위해.
• 뉴스트öm 근사, 반복적 해법, 조정 기반 기법을 하나의 효율적인 알고리즘으로 통합하여 커널 리지 회귀 문제를 해결하기 위해.
• 단일 머신 환경에서도 이차 이하의 복잡도로 최적의 통계 성능을 달성할 수 있음을 보여주기 위해.
• 기본 조건과 유리한 조건 하에서 수렴 속도와 일반화 오차에 대한 이론적 보장을 제공하기 위해.

제안 방법

• FALKON은 레버리지 스코어 또는 균일 샘플링을 통해 M개의 랜드마크 포인트를 선택하여 뉴스트öm 근사를 사용해 커널 행렬 크기를 축소한다.
• 축소된 선형 시스템의 공액 기울기 해법을 가속화하기 위해 뉴스트öm 근사에서 유도된 조정자를 적용한다.
• 알고리즘은 조정된 시스템에 대해 반복적 Krylov 부분공간 방법(공액 기울기)을 적용하여 커널 리지 회귀 문제를 해결한다.
• 낮은 랭크 근사된 커널 행렬의 콜레스키 분해를 통해 조정자를 구성함으로써 효율적인 행렬-벡터 곱 연산을 가능하게 한다.
• 무작위 선형 대수 기법을 활용해 뉴스트öm 중심점과 그 가중치를 효율적으로 계산함으로써 계산 비용을 감소시킨다.
• 과적합을 방지하고 최소한의 반복 수로 최적의 일반화를 확보하기 위해 공액 기울기에서 조기 정지 기법을 사용한다.

실험 결과

연구 질문

• RQ1 시간과 메모리 복잡도가 O(n²) 이하로 낮아진 상태에서 커널 방법이 최적의 통계 정확도를 달성할 수 있는가?
• RQ2 뉴스트öm 근사와 조정된 반복적 해법이 결합되어 커널 방법을 수백만 개의 데이터 포인트까지 확장할 수 있는가?
• RQ3 제안된 알고리즘이 기본 조건과 유리한 조건 하에서도 최적의 일반화 오차 비율을 유지하는가?
• RQ4 단일 머신 환경에서 분산 또는 병렬 처리 방법보다 빠르고 정확도가 높은 성능을 낼 수 있는가?
• RQ5 다양한 샘플링 전략(예: 균일 샘플링 대비 레버리지 스코어 샘플링)이 알고리즘 성능과 수렴에 미치는 영향은 무엇인가?

주요 결과

• FALKON은 O(n√n) 시간과 O(n) 메모리 복잡도로 최적의 통계 정확도를 달성하며, 로그 인자 수준까지 허용한다.
• 알고리즘은 분산 또는 병렬 아키텍처를 사용하는 이전 최첨단 방법들조차도 능가하는 성능을 대규모 데이터셋에서 보였다.
• 단일 머신 환경에서 FALKON은 기존의 확장 가능한 커널 방법들보다 더 높은 예측 정확도와 더 빠른 학습 시간을 달성했다.
• 뉴스트öm 중심점에 레버리지 스코어 샘플링을 사용할 경우 균일 샘플링 대비 수렴 속도와 일반화 성능이 향상되었다.
• 이론적 분석을 통해 FALKON이 기본 조건과 유리한 조건 하에서 최적의 초과 위험 비율을 확보함을 확인했으며, 정확한 커널 리지 회귀와 동일한 성능을 보였다.
• 실험 결과에 따르면 FALKON은 대규모 비선형 학습 과제에서 깊은 완전 연결 신경망의 실질적인 대안이 될 수 있다.