[논문 리뷰] Data-driven Random Fourier Features using Stein Effect

Wei-Cheng Chang, Chunliang Li외 2명|arXiv (Cornell University)|2017. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 3

한 줄 요약

이 논문은 커널 근사 오차를 줄이기 위해 스틴 효과를 활용한 데이터 기반 무작위 푸리에 특징 가중치 방법을 제안한다. 경험적 리스크를 최소화하는 수축 추정량을 통해 비균일 가중치를 학습함으로써, 여섯 개의 벤치마크 데이터셋에서 무작위화된 가중치를 가진 몬테카를로(MC) 및 준몬테카를로(QMC) 기반 방법보다 커널 근사 및 지도 학습 과제에서 뛰어난 성능을 보인다.

ABSTRACT

Large-scale kernel approximation is an important problem in machine learning research. Approaches using random Fourier features have become increasingly popular [Rahimi and Recht, 2007], where kernel approximation is treated as empirical mean estimation via Monte Carlo (MC) or Quasi-Monte Carlo (QMC) integration [Yang et al., 2014]. A limitation of the current approaches is that all the features receive an equal weight summing to 1. In this paper, we propose a novel shrinkage estimator from "Stein effect", which provides a data-driven weighting strategy for random features and enjoys theoretical justifications in terms of lowering the empirical risk. We further present an efficient randomized algorithm for large-scale applications of the proposed method. Our empirical results on six benchmark data sets demonstrate the advantageous performance of this approach over representative baselines in both kernel approximation and supervised learning tasks.

연구 동기 및 목표

• 무작위 푸리에 특징의 균일 가중치가 비최적임을 해결한다.
• 라벨 정보가 필요 없이 경험적 리스크를 줄이는 데이터 기반 가중치 전략을 개발한다.
• 스틴 효과를 통한 이론적 근거를 제시하여 경험 평균 추정량보다 개선된 추정을 가능하게 한다.
• 대규모 응용에 적합한 효율적인 랜덤 알고리즘을 설계한다.
• 커널 근사 및 지도 학습 과제에서 몬테카를로(MC), 준몬테카를로(QMC), 베이지안 적분(Bayesian Quadrature) 기반 방법과의 비교에서 일관된 성능 향상을 입증한다.

제안 방법

• 스틴 효과를 활용해 경험적 리스크를 최소화하는 비균일 가중치를 학습하는 수축 추정량을 유도한다.
• 데이터 기반 가중치를 사용해 경험적 리스크를 최소화하는 커플렉스 최적화 문제로 커널 근사 문제를 재정의한다.
• 오직 O(M)개의 데이터 포인트만을 샘플링하여 최적의 가중치 벡터를 근사하는 랜덤 스케칭 기반 해법을 도입함으로써 확장성을 확보한다.
• 베이지안 적분(BQ)을 커널 근사의 기반 방법으로 확장하지만, 데이터 기반 접근을 통해 초모수 조정에 민감한 문제를 회피한다.
• 비교를 위해 몬테카를로(MC) 및 준몬테카를로(QMC) 방법을 균일 가중치 기반 기반선으로 사용한다.
• 보흐너 정리에 따라 이동 불변 커널에 대해 제안된 방법을 적용함으로써 효율적인 특징 생성 및 가중치 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 무작위 푸리에 특징에 대한 데이터 기반 가중치 전략이 균일 가중치보다 커널 근사 오차를 줄일 수 있는가?
• RQ2 스틴 효과가 커널 근사에서 최적 특징 가중치를 학습하는 데 이론적으로 타당한 프레임워크를 제공하는가?
• RQ3 제안된 방법은 커널 근사 및 후속 지도 학습 과제에서 몬테카를로(MC), 준몬테카를로(QMC), 베이지안 적분(BQ) 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ4 랜덤화된 해법은 대규모 환경에서 얼마나 효율적인가? 수렴하기 위해 얼마나 많은 샘플이 필요한가?
• RQ5 다양한 데이터셋과 특징 수에서 비균일 특징 가중치는 경험적 리스크를 균일 가중치보다 얼마나 효과적으로 줄이는가?

주요 결과

• 제안된 스틴 효과 수축(SES) 추정량은 여섯 개의 벤치마크 데이터셋에서 균일 가중치를 가진 몬테카를로(MC) 및 준몬테카를로(QMC) 방법보다 커널 근사 오차를 일관되게 줄였다.
• SES는 대부분의 지도 학습 과제(분류 및 회귀)에서 최고의 기반선을 능가하거나 동등하게 성능을 내었으며, 개선된 커널 근사의 전이 가능성(transferability)을 입증했다.
• 랜덤화된 해법은 안정적이고 정확한 가중치 추정을 위해 필요한 랜덤 특징 수(M)의 2~4배 이내의 샘플 데이터만을 요구하여 이론적 확장성의 타당성을 확인했다.
• 랜덤 특징 수가 증가함에 따라(M = 32에서 512로), SES와 BQ에서 학습된 가중치의 분포는 점점 균일성에 수렴하며, 편향-분산 트레이드오프 이론과 일치한다.
• SES에서의 비균일 수축 가중치는 균일 가중치보다 경험적 리스크를 크게 낮춰 데이터 기반 적응의 이점을 확인했다.
• 베이지안 적분(BQ)은 샘플된 데이터 크기 변화에 대해 일관되지 않은 성능을 보이며, 초모수 조정에 매우 민감한 반면, 제안된 방법은 이와 다르게 안정적인 성능을 보였다.