[논문 리뷰] Fastfood: Approximate Kernel Expansions in Loglinear Time

Quoc V. Le, Tamás Sarlós외 1명|arXiv (Cornell University)|2014. 08. 13.

Face and Expression Recognition인용 수 13

한 줄 요약

Fastfood는 랜덤 주방 측정법(Random Kitchen Sinks)에서 밀도 있는 랜덤 행렬을 대체하기 위해 히어르드르 행렬과 대각 행렬을 사용하여 커널 전개의 로그선형 시간 근사치를 제안한다. 이는 O(n log d) 계산과 O(n) 저장소를 제공하여 표준 방법 대비 실행 시간을 100배 빠르게 하고 메모리 사용량을 1000배 줄이며, RBF 및 다항식 커널에서 정확도를 유지한다.

ABSTRACT

Despite their successes, what makes kernel methods difficult to use in many large scale problems is the fact that storing and computing the decision function is typically expensive, especially at prediction time. In this paper, we overcome this difficulty by proposing Fastfood, an approximation that accelerates such computation significantly. Key to Fastfood is the observation that Hadamard matrices, when combined with diagonal Gaussian matrices, exhibit properties similar to dense Gaussian random matrices. Yet unlike the latter, Hadamard and diagonal matrices are inexpensive to multiply and store. These two matrices can be used in lieu of Gaussian matrices in Random Kitchen Sinks proposed by Rahimi and Recht (2009) and thereby speeding up the computation for a large range of kernel functions. Specifically, Fastfood requires O(n log d) time and O(n) storage to compute n non-linear basis functions in d dimensions, a significant improvement from O(nd) computation and storage, without sacrificing accuracy. Our method applies to any translation invariant and any dot-product kernel, such as the popular RBF kernels and polynomial kernels. We prove that the approximation is unbiased and has low variance. Experiments show that we achieve similar accuracy to full kernel expansions and Random Kitchen Sinks while being 100x faster and using 1000x less memory. These improvements, especially in terms of memory usage, make kernel methods more practical for applications that have large training sets and/or require real-time prediction.

연구 동기 및 목표

• 대규모 학습에서 커널 방법의 높은 계산 비용과 메모리 사용량 문제를 해결한다. 특히 예측 시간에 초점을 맞춘다.
• 기존 방법에서 커널 전개의 저장 및 계산 복잡도가 O(nd)인 문제를 해결한다.
• 시간과 공간 요구량을 크게 줄이면서도 정확도를 유지하는 확장 가능한 근사 방법을 개발한다.
• 자원 제약이 있는 장치(예: 스마트폰)에서 실시간 예측과 배포를 가능하게 한다.
• 이동 불변성 및 내적곱 커널(예: RBF 및 다항식 커널)에 일반적으로 적용 가능한 솔루션을 제공한다.

제안 방법

• 랜덤 히어르드르 행렬과 대각 가우시안 행렬의 곱이 밀도 있는 가우시안 랜덤 행렬을 근사할 수 있는 수학적 성질을 활용한다.
• 이 행렬 곱을 랜덤 주방 측정법 프레임워크 내에서 전체 가우시안 행렬의 대체로 사용하여 비용이 많이 드는 행렬 저장 및 곱셈을 피한다.
• 빠른 히어르드르 변환(Fast Fourier Transform 기반 등)을 적용하여 O(nd) 대신 O(n log d) 시간에 특징 맵을 계산한다.
• 난수 기반 특징 맵을 통해 n개의 비선형 기저 함수를 구성하여 커널 근사 품질을 유지한다.
• 행렬 곱의 분포에 대한 이론적 분 析를 통해 근사가 비편향이면서 분산이 낮음을 보장한다.
• 기존 커널 학습 파ip라인에 최소한의 수정으로 통합 가능하게 하여 RBF 및 다항식 커널 모두 지원한다.

실험 결과

연구 질문

• RQ1 정확도를 희생시키지 않고 O(n log d) 시간과 O(n) 저장소로 커널 전개를 근사할 수 있는가?
• RQ2 히어르드르 행렬과 대각 행렬의 곱이 커널 근사에서 밀도 있는 가우시안 행렬의 통계적 성질을 효과적으로 모방하는가?
• RQ3 제안된 방법은 랜덤 주방 측정법과 니스트롬 방법에 비해 속도, 메모리 사용량, 예측 성능 측면에서 어떻게 비교되는가?
• RQ4 이 방법은 대규모 데이터셋과 실시간 응용, 특히 모바일 배포에까지 확장 가능한가?
• RQ5 RBF 및 다항식 커널을 포함한 다양한 커널 유형에서 근사가 여전히 정확한가?

주요 결과

• Fastfood는 O(n log d) 계산과 O(n) 저장소를 달성하여 Random Kitchen Sinks 대비 100배 빠른 처리 속도와 1000배 메모리 절감을 실현한다.
• CIFAR-10 데이터셋에서 n=16,384 기저 함수를 사용할 때 Fastfood는 63.1%의 테스트 정확도를 기록했으며, Random Kitchen Sinks(62.4%)를 뛰어넘고 순열 불변 특징을 사용한 최신 기술과도 맞먹는 성능을 보였다.
• d=1,024 및 n=16,384 조건에서 단일 입력 벡터의 예측 속도가 Random Kitchen Sinks 대비 24배 빠르게(0.003초 대비 0.07초) 측정되었다.
• 회귀 과제에서 높은 정확도를 유지하였으며, 기저 함수의 수가 증가할수록 테스트 RMSE가 향상되었다.
• 다양한 데이터셋(CPU, KEGG, Year, Forest 등)에서의 실험 결과, 다양한 과제에서 일관된 성능을 보였으며, Fastfood는 기준 방법과 동등하거나 이를 초월하는 정확도를 달성했다.
• 낮은 메모리 사용량과 고속 계산 덕분에 이 방법은 커널 방법을 모바일 장치에 배포할 수 있게 하여 실시간 예측을 가능하게 하였다.