[논문 리뷰] F2F: A Library For Fast Kernel Expansions.

J. de Curtò, I. de Zarzà외 3명|arXiv (Cornell University)|2017. 02. 27.

Gaussian Processes and Bayesian Inference참고 문헌 2인용 수 1

한 줄 요약

F2F는 랜덤화된 특징 매핑을 활용한 빠른 커널 전개를 위한 C++ 라이브러리인 McKernel을 소개한다. 이는 Random Kitchen Sinks에 영감을 받았으며 캐시 우수한 빠른 월리스-하다마르 변환을 통해 최적화된다. 이는 미니배치 SGD에서 로그선형 시간 계산을 가능하게 하여, 선형 분류기로도 MNIST 및 패션-MNIST에서 경쟁력 있는 비선형 분류 성능을 달성하며, 스케일링에서 전통적인 커널 방법을 능가한다.

ABSTRACT

McKernel introduces a framework to use kernel approximates in the mini-batch setting with Stochastic Gradient Descent (SGD) as an alternative to Deep Learning. Based on Random Kitchen Sinks [Rahimi and Recht 2007], we provide a C++ library for Large-scale Machine Learning. It contains a CPU optimized implementation of the algorithm in [Le et al. 2013], that allows the computation of approximated kernel expansions in log-linear time. The algorithm requires to compute the product of matrices Walsh Hadamard. A cache friendly Fast Walsh Hadamard that achieves compelling speed and outperforms current state-of-the-art methods has been developed. McKernel establishes the foundation of a new architecture of learning that allows to obtain large-scale non-linear classification combining lightning kernel expansions and a linear classifier. It travails in the mini-batch setting working analogously to Neural Networks. We show the validity of our method through extensive experiments on MNIST and FASHION MNIST [Xiao et al. 2017].

연구 동기 및 목표

• 미니배치 확률적 경사하강법 환경에서 커널 근사화를 통해 대규모 비선형 분류를 가능하게 하기.
• 월리스-하다마르 변환을 통한 행렬 곱셈을 이용한 커널 전개 가속화로 전통적인 커널 방법의 계산 병목 현상을 해결하기.
• 대규모 학습에 대해 최상의 성능을 보이는 캐시 최적화된 빠른 월리스-하다마르 변환을 개발하기.
• 빠른 커널 전개와 선형 분류기의 조합으로 신경망의 학습 동작과 유사한 새로운 학습 아키텍처 수립하기.
• 확장 가능한 미니배치 학습 환경에서 표준 벤치마크 데이터셋(MNIST 및 패션-MNIST)에서 방법의 효과성 검증하기.

제안 방법

• 랜덤화된 특징 매핑을 사용하여 Random Kitchen Sinks 프레임워크에 기반해 커널 함수를 효율적으로 근사화한다.
• 커널 전개에 필요한 행렬 곱셈을 가속화하기 위해 캐시 최적화된 빠른 월리스-하다마르 변환(FWHT)을 활용한다.
• 월리스-하다마르 행렬을 사용한 구조화된 행렬 연산을 통해 커널 전개를 로그선형 시간 내에 계산한다.
• 커널 근사화를 미니배치 SGD 학습 파이프라인에 통합하여 딥 네이처럴 네트워크의 학습 동작을 모방한다.
• 명시적인 커널 계산 없이도 변환된 특징에 선형 분류기를 사용하여 비선형 결정 경계를 달성한다.
• 현대 CPU 아키텍처에서 성능을 향상시키기 위해 FWHT 구현의 메모리 액세스 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 랜덤화된 특징 매핑을 통한 빠른 커널 전개가 미니배치 SGD를 통해 대규모 데이터셋에 효율적으로 스케일링될 수 있는가?
• RQ2 캐시 최적화된 빠른 월리스-하다마르 변환은 대규모 학습에서 커널 근사화의 성능을 어떻게 향상시키는가?
• RQ3 랜덤화된 특징에 선형 분류기를 적용할 경우 표준 비전 벤치마크에서 비선형 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 기존의 커널 근사화 기법과 비교해 본다면, 제안된 방법은 속도와 정확도 측면에서 어떻게 다른가?
• RQ5 빠른 커널 전개와 선형 분류기의 조합이 실제 데이터셋(MNIST 및 패션-MNIST)에서 일반화 성능을 유지하는가?

주요 결과

• 캐시 최적화된 빠른 월리스-하다마르 변환은 최신 구현보다 뛰어난 성능을 보이며, 커널 전개를 더욱 빠르게 한다.
• McKernel은 커널 전개의 로그선형 시간 계산을 가능하게 하여 대규모 데이터셋의 학습 시간을 크게 단축시킨다.
• 랜덤화된 특징에 선형 분류기를 사용함으로써 MNIST 및 패션-MNIST에서 경쟁력 있는 분류 정확도를 달성한다.
• 프레임워크는 효과적으로 미니배치 SGD 환경에서 작동하며, 신경망과 유사한 학습 동작을 보여준다.
• 딥 러닝과 전통적인 커널 방법의 확장 가능한 대안을 제공하며, 특히 대규모 비선형 분류에 적합하다.
• 광범위한 실험을 통해 제안된 방법의 타당성과 효율성이 표준 벤치마크 데이터셋에서 확인되었다.