[논문 리뷰] Simple and Almost Assumption-Free Out-of-Sample Bound for Random Feature Mapping

Shusen Wang|arXiv (Cornell University)|2019. 09. 24.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 커널 리지 회귀에서의 랜덤 특징 매핑(RFM-KRR)에 대해 가정이 없는 간단한 외부 샘플 오차 경계를 수립한다. 이 경계는 랜덤 특징 매핑에 대해 약간의 점검 가능한 가정만으로도 예측값이 정확한 KRR에 대해 1/s 속도로 수렴함을 보여준다. 이 경계는 거의 최적임을 확인하기 위해 일치하는 하한 경계와 다양한 데이터셋 및 커널에서의 실험적 검증을 통해 입증되었다.

ABSTRACT

Random feature mapping (RFM) is a popular method for speeding up kernel methods at the cost of losing a little accuracy. We study kernel ridge regression with random feature mapping (RFM-KRR) and establish novel out-of-sample error upper and lower bounds. While out-of-sample bounds for RFM-KRR have been established by prior work, this paper's theories are highly interesting for two reasons. On the one hand, our theories are based on weak and valid assumptions. In contrast, the existing theories are based on various uncheckable assumptions, which makes it unclear whether their bounds are the nature of RFM-KRR or simply the consequence of strong assumptions. On the other hand, our analysis is completely based on elementary linear algebra and thereby easy to read and verify. Finally, our experiments lend empirical supports to the theories.

연구 동기 및 목표

• 데이터나 커널 함수에 대한 점검할 수 없는 강한 가정에 의존하지 않는 RFM-KRR의 일반화 경계를 제공하는 것.
• 랜덤 특징 매핑에 대해 약한, 검증 가능한 가정만을 사용하여 RFM-KRR의 외부 샘플 예측 오차에 대한 날카로운 상한 경계를 수립하는 것.
• 상한 경계가 거의 최적임을 보여주기 위해 일치하는 하한 경계를 유도하는 것.
• 다양한 데이터셋과 커널 유형(RBF, 라플라스)에서 이론적 결과를 실험적으로 검증하는 것.
• 읽기 쉽고 검증하기 쉬운 기본 선형 대수 기반 분석을 제공하여 이론적으로 탄탄한 분석을 수행하는 것.

제안 방법

• 기본 선형 대수학과 랜덤 행렬 이론을 사용하여 RFM-KRR와 정확한 KRR 예측 간의 기대 제곱 오차에 대한 상한 경계를 유도한다.
• 핵심 상한 경계는 $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $ 로 표현되며, 여기서 $ s $ 는 랜덤 특징의 수이다.
• 이 경계는 랜덤 특징 매핑이 비편향이면서 유계임을 가정하여 유도되었으며, 이 조건은 랜덤 푸리에 특징 및 랜덤 부호 특징과 같은 인기 있는 방법들에 의해 충족된다.
• 상한 경계와 거의 일치하는 하한 경계가 확립되어 결과의 이론적 날카로움을 보여준다.
• 실험적 검증은 실제 데이터셋(MSD, Cadata, Cpusmall, Covtype)에 대해 반복적인 랜덤 특징 매핑을 수행하고, $ s $ 와의 관계에서 MSE를 측정하며 이론적 경계와 비교한다.
• 다양한 $ n $ 와 $ \lambda $ 에서 이론적 경계와 실측 MSE의 비율을 계산하여 경계의 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 RFM-KRR에 대한 일반화 경계를 데이터나 커널 함수에 대한 강력한, 점검할 수 없는 가정에 의존하지 않고 유도할 수 있는가?
• RQ2 랜덤 특징 수 $ s $ 를 기준으로 RFM-KRR 예측이 정확한 KRR 예측으로 수렴하는 속도는 무엇인가?
• RQ3 제안된 외부 샘플 오차에 대한 상한 경계는 거의 최적인가?
• RQ4 실제 세계의 데이터셋에서 이론적 경계는 실측 오차와 얼마나 날카로운가?
• RQ5 이론적 분석은 간단하게 유지될 수 있으며, 기본 선형 대수학에 기반하여 가독성과 검증 가능성을 확보할 수 있는가?

주요 결과

• RFM-KRR의 외부 샘플 예측 오차는 정리 1이 예측한 바와 같이 $ \frac{1}{s} $ 속도로 정확한 KRR의 오차로 수렴한다.
• 평균 제곱 오차에 대한 상한 경계는 $ \frac{1}{s} \left\| \mathbf{K}^{1/2} (\mathbf{K} + n\lambda \mathbf{I}_n)^{-1} \mathbf{y} \right\|_2^2 $ 이며, 일치하는 하한 경계 덕분에 거의 최적임이 입증된다.
• 실험 결과는 여러 데이터셋과 커널 유형에서 $ \frac{1}{s} $ 수렴 속도가 확인되었으며, 외삽된 경계가 실제 MSE와 밀접하게 일치함을 보였다.
• 이론적 경계는 특히 $ \lambda \geq \frac{1}{\sqrt{n}} $ 일 때 실제 오차를 크게 과대평가하지 않아, 강력한 날카로움을 나타낸다.
• 분석은 오직 점검 가능한 가정—즉, 랜덤 특징 매핑이 비편향이면서 유계임—에 기반하여 이루어져 결과의 광범위한 적용 가능성을 보장한다.
• 이론적 프레임워크 전반은 기본 선형 대수학에만 의존하여, 이전 연구들이 복잡한 랜덤 행렬 이론을 사용한 것에 비해 명확성과 검증 가능성이 향상되었다.