[논문 리뷰] Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond

Fanghui Liu, Xiaolin Huang외 2명|arXiv (Cornell University)|2020. 04. 23.

Machine Learning and Data Classification참고 문헌 178인용 수 20

한 줄 요약

이 종합적 서베이는 커널 근사화를 위한 랜덤 피처에 대해 알고리즘, 이론 및 딥 러닝과의 연결 고리를 포함해 종합적인 개요를 제공한다. RFF, ORF, SSF 등의 방법을 대규모 데이터셋에서 평가하여, 구조적 랜덤 피처가 뛰어난 근사 품질과 경쟁 가능한 추론 속도를 유지하면서도 강력한 일반화 성능을 보임을 보여준다.

ABSTRACT

Random features is one of the most popular techniques to speed up kernel methods in large-scale problems. Related works have been recognized by the NeurIPS Test-of-Time award in 2017 and the ICML Best Paper Finalist in 2019. The body of work on random features has grown rapidly, and hence it is desirable to have a comprehensive overview on this topic explaining the connections among various algorithms and theoretical results. In this survey, we systematically review the work on random features from the past ten years. First, the motivations, characteristics and contributions of representative random features based algorithms are summarized according to their sampling schemes, learning procedures, variance reduction properties and how they exploit training data. Second, we review theoretical results that center around the following key question: how many random features are needed to ensure a high approximation quality or no loss in the empirical/expected risks of the learned estimator. Third, we provide a comprehensive evaluation of popular random features based algorithms on several large-scale benchmark datasets and discuss their approximation quality and prediction performance for classification. Last, we discuss the relationship between random features and modern over-parameterized deep neural networks (DNNs), including the use of high dimensional random features in the analysis of DNNs as well as the gaps between current theoretical and empirical results. This survey may serve as a gentle introduction to this topic, and as a users' guide for practitioners interested in applying the representative algorithms and understanding theoretical results under various technical assumptions. We hope that this survey will facilitate discussion on the open problems in this topic, and more importantly, shed light on future research directions.

연구 동기 및 목표

• 지난 10년간 커널 근사화를 위한 랜덤 피처 방법에 대한 체계적인 리뷰를 제공하기 위해.
• 다양한 알고리즘, 샘플링 기법, 분산 감소 기법, 데이터 활용 전략 간의 관계를 명확히 하기 위해.
• 높은 근사 품질과 일반화 품질을 유지하기 위해 필요한 랜덤 피처 수에 대한 이론적 경계를 분석하기 위해.
• 분류 작업을 위한 대규모 벤치마크 데이터셋에서 대표적인 알고리즘의 경험적 성능을 평가하기 위해.
• 랜덤 피처와 과도하게 파rameter화된 딥 뉴럴 네트워크 간의 관계를 탐색하고, 이론적 및 경험적 격차를 분석하기 위해.

제안 방법

• 샘플링 기법(예: i.i.d., 구조적, 준몬테카를로), 학습 절차, 분산 감소 기법을 기반으로 랜덤 피처 알고리즘을 분류한다.
• 낮은 경험적 및 기대 위험을 보장하기 위해 필요한 랜덤 피처 수에 대한 이론적 결과를 검토하며, 일반화 경계에 집중한다.
• 커널 리지 회귀 및 로지스틱 회귀를 사용하여 여러 대규모 데이터셋(MNIST-8M, covtype, letter 등)에서 통합된 평가 프레임워크를 구현한다.
• 구조적 샘플링 패턴을 활용하여 근사 정확도를 향상시키는 구조적 랜덤 피처(예: ORF, SORF, SSF)를 도입하고 평가한다.
• 메모리 제약 조건 하에서 초대규모 데이터셋(MNIST-8M)을 처리하기 위해 데이터 스트리밍 환경에서 이중 스토하스틱 프레임워크를 적용한다.
• 근사 오차, 학습/테스트 오차, 총 시간 비용 등의 지표를 사용하여 RFF, Fastfood, QMC, GQ, LS-RFF 등의 방법 간의 시간-정확도 트레이드오프를 비교한다.

실험 결과

연구 질문

• RQ1 i.i.d., 구조적, 준몬테카를로 등의 다양한 랜덤 피처 샘플링 기법은 근사 품질과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ2 커널 근사화에서 낮은 일반화 오차를 달성하기 위해 필요한 랜덤 피처 수에 대한 이론적 경계는 무엇인가?
• RQ3 다양한 커널 유형(Gaussian, arc-cosine, 다항식)과 데이터셋에서 대규모 분류 작업에서 랜덤 피처 방법은 경험적으로 어떻게 성능을 내는가?
• RQ4 랜덤 피처와 과도하게 파rameter화된 딥 뉴럴 네트워크 간의 관계는 무엇이며, 랜덤 피처 이론은 DNN 분석에 어떻게 기여할 수 있는가?
• RQ5 랜덤 피처 및 딥 러닝 환경에서 이론적 예측과 경험적 결과 사이의 주요 격차는 무엇인가?

주요 결과

• MNIST-8M 데이터셋에서 ORF와 SORF는 가우시안 커널에 대해 가장 낮은 근사 오차(0.0041)를 기록했으며, RFF(0.0126)와 Fastfood(0.0159)를 능가했다.
• 영차수(arc-cosine) 커널의 경우 ORF와 SORF는 가장 낮은 근사 오차(0.0224 및 0.0231)를 기록했고, RM은 다항식 유사 커널에 대한 비효율적 스케칭으로 인해 성능이 열악함(0.0448).
• 가우시안 커널에 대해 SSF는 가장 낮은 근사 오차(0.0078)를 기록했으며, ORF와 SORF는 약간의 시간 비용 증가에도 불구하고 경쟁력 있는 성능을 보였다.
• arc-cosine 커널에서 ORF와 SORF는 다양한 데이터셋에서 일관된 성능을 보였으며, arccos0의 경우 테스트 오차 약 2.7%, arccos1의 경우 약 1.5%를 기록하여 RM과 Fastfood를 능가했다.
• 시간 비용은 크게 다름: 가우시안 커널에서 LS-RFF는 가장 느림(15,725초), arccos1에서 SORF는 가장 빠름(8,861.6초)으로 정확도와 속도 간의 트레이드오프를 보여줌.
• 일부 경우(예: arccos0에서 RM의 경우 0.0448) 근사 오차가 높지만, Maclaurin 전개 기반 스케칭 덕분에 계산이 효율적이므로 저지연 응용에 적합하다.