[논문 리뷰] Scalable Kernel Methods via Doubly Stochastic Gradients

Bo Dai, Bo Xie외 5명|arXiv (Cornell University)|2014. 07. 21.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 74

한 줄 요약

이 논문은 커널 리지 회귀와 분류에서 기능적 기울기를 근사하기 위해 랜덤 훈련 샘플과 랜덤 특징을 조합하여 대규모 데이터셋에 대한 커널 방법을 스케일링하기 위해 이중 확률적 기능 기울기(DSFG)를 제안한다. 이 방법은 O(1/t) 수렴 속도와 O(1/√t) 일반화 오차를 달성하며, 230만 개의 분자 데이터, 800만 개의 MNIST, 100만 개의 ImageNet 데이터셋에서 신경망과 유사한 성능을 내지만 메모리는 O(n²)에서 O(n)으로 감소시킨다.

ABSTRACT

The general perception is that kernel methods are not scalable, and neural nets are the methods of choice for nonlinear learning problems. Or have we simply not tried hard enough for kernel methods? Here we propose an approach that scales up kernel methods using a novel concept called "doubly stochastic functional gradients". Our approach relies on the fact that many kernel methods can be expressed as convex optimization problems, and we solve the problems by making two unbiased stochastic approximations to the functional gradient, one using random training points and another using random functions associated with the kernel, and then descending using this noisy functional gradient. We show that a function produced by this procedure after $t$ iterations converges to the optimal function in the reproducing kernel Hilbert space in rate $O(1/t)$, and achieves a generalization performance of $O(1/\sqrt{t})$. This doubly stochasticity also allows us to avoid keeping the support vectors and to implement the algorithm in a small memory footprint, which is linear in number of iterations and independent of data dimension. Our approach can readily scale kernel methods up to the regimes which are dominated by neural nets. We show that our method can achieve competitive performance to neural nets in datasets such as 8 million handwritten digits from MNIST, 2.3 million energy materials from MolecularSpace, and 1 million photos from ImageNet.

연구 동기 및 목표

• 밀도 있는 커널 행렬로 인해 O(n²) 메모리와 계산이 발생하는 커널 방법의 확장성 문제를 해결한다.
• 낮은 랭크 또는 랜덤 특징 근사화의 한계를 극복하여, 랭크/특징 수가 n에 따라 증가하지 않으면 일반화 성능이 떨어지는 문제를 해결한다.
• 새로운 데이터가 도착함에 따라 증가하는 함수 클래스의 유연성을 갖춘 스트리밍 학습을 가능하게 한다.
• 모든 서포트 벡터를 저장하지 않고도 간단하고 효율적인 최적화 프레임워크를 개발한다.
• 통계적 성능을 희생시키지 않고 최적의 수렴 및 일반화 속도를 달성한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS) 내 함수에 대한 볼록 최적화로 커널 방법을 표현한다.
• 두 개의 독립적인 랜덤성 원천인 랜덤 훈련 점과 커널과 관련된 랜덤 특징을 사용하여 기능 기울기를 근사한다.
• 편향 없는 기능 기울기의 스케일링 근사화를 사용하여, O(n) 메모리와 반복당 O(nrd) 계산을 갖는 효율적인 기능 기울기 하강법을 가능하게 한다.
• 데이터가 도착함에 따라 랜덤 특징의 수를 동적으로 증가시켜 스트리밍 환경에서의 모델 용량을 민첩하게 조절한다.
• 이중 확률성을 활용하여 명시적인 커널 행렬 저장 없이도 수렴 보장을 유지한다.
• Fastfood, Quasi-Monte Carlo 또는 역전파를 통한 적응형 특징 학습을 통해 확장 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 대규모 비선형 학습 과제에서 딥 뉴럴 네트워크와 유사한 성능을 내는 커널 방법이 가능한가?
• RQ2 기존 커널 방법의 O(n²) 메모리와 계산 문제를 피하는 확장 가능한 커널 방법을 설계할 수 있는가?
• RQ3 두 가지 노이즈 원천이 존재하는 이중 확률적 기능 기울기 접근법이 최적의 수렴 및 일반화 속도를 유지할 수 있는가?
• RQ4 재학습 없이 스트리밍 환경에서 모델 용량을 적응적으로 증가시킬 수 있는가?
• RQ5 실제 대규모 데이터셋에서 제안된 방법의 성능가 신경망과 어떻게 비교되는가?

주요 결과

• 제안된 DSFG 방법은 RKHS 내 최적 함수로의 O(1/t) 수렴 속도를 달성하며, 이는 스케일링 볼록 최적화의 최고 성능 수렴 속도와 일치한다.
• 일반화 오차는 입력 차원과 무관하게 O(1/√t)로 수렴하여 강력한 통계적 성능을 보여준다.
• MolecularSpace에서 제공한 230만 개의 분자 데이터셋에서, 이 방법은 평균 절대 오차(MAE) 2.97 kcal/mol을 달성하여 신경망(3.51 kcal/mol)을 능가했다.
• 800만 개의 MNIST 데이터셋에서, 이 방법은 신경망 성능을 따라잡고 더 빠른 수렴 속도를 보였다.
• 컨volutional 특징을 사용한 100만 개의 ImageNet 데이터셋에서, 이 방법은 경쟁 가능한 정확도와 속도를 달성했으며, 사전 학습된 특징을 사용한 신경망을 능가했다.
• 이 방법은 메모리 사용량을 O(n²)에서 O(n)으로 줄여, 이전에는 신경망에 의해 지배되던 대규모 데이터셋에 대한 실용적 구현을 가능하게 했다.