[논문 리뷰] On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees

Shahin Shahrampour, Soheil Kolouri|arXiv (Cornell University)|2019. 03. 20.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 6

한 줄 요약

이 논문은 커널 근사에서 랜덤 특징을 샘플링하기 위해 경험적 레버리지 스코어를 사용하여, 더 적은 특징 수로도 향상된 일반화 성능를 달성하고자 제안한다. 이는 몬테카를로 샘플링을 능가하고 레이블을 사용하지 않은 지도 학습 방법에 근접하는 이론적 보장을 제공한다.

ABSTRACT

Random features provide a practical framework for large-scale kernel approximation and supervised learning. It has been shown that data-dependent sampling of random features using leverage scores can significantly reduce the number of features required to achieve optimal learning bounds. Leverage scores introduce an optimized distribution for features based on an infinite-dimensional integral operator (depending on input distribution), which is impractical to sample from. Focusing on empirical leverage scores in this paper, we establish an out-of-sample performance bound, revealing an interesting trade-off between the approximated kernel and the eigenvalue decay of another kernel in the domain of random features defined based on data distribution. Our experiments verify that the empirical algorithm consistently outperforms vanilla Monte Carlo sampling, and with a minor modification the method is even competitive to supervised data-dependent kernel learning, without using the output (label) information.

연구 동기 및 목표

• 기본 몬테카를로 샘플링의 한계를 해결하기 위해, 랜덤 특징 방법에서 좋은 성능을 내기 위해 많은 특징이 필요한 문제를 다루기 위해.
• 이론적 레버리지 스코어의 계산이 불가능한 무한차원 적분 연산자를 피하기 위해 데이터에 의존하는 실용적인 샘플링 기법을 개발하기 위해.
• 표본 외 성능에 대한 이론적 경계를 수립하여, 근사 오차와 고유값 감쇠 사이의 상충 관계를 드러내기 위해.
• 경험적 레버리지 스코어 기반의 랜덤 특징 샘플링이 몬테카를로 방법을 능가하고, 레이블 정보를 사용하지 않아도 지도 학습 기반 데이터 의존적 방법과 경쟁 가능한 성능을 보임을 실증적으로 보여주기 위해.

제안 방법

• 이 방법은 데이터 행렬에서 계산된 경험적 레버리지 스코어를 사용하여 랜덤 특징에 대한 비균일 샘플링 분포를 정의한다.
• 일반화 오차를 유한한 경계로 제한하기 위해 스펙트럼 근사 이론과 행렬 농도 부등식을 활용한다.
• 이론적 분석은 [13]의 근사 오차 결과와 [16]의 릿지 레버리지 함수 결과를 통합하여 성능 경계를 도출한다.
• 알고리즘은 레버리지 스코어 분포의 유한차원 근사에서 특징을 샘플링함으로써 계산적으로 실현 가능하게 만든다.
• 성능을 더욱 향상시키기 위해 수정된 샘플링 기법을 도입하였으며, 이는 지도 학습 기반 데이터 의존적 방법에 근접한다.
• G-리프시츠 연속성과 커널 추정기의 분산 제어를 이용해 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 경험적 레버리지 스코어는 커널 근사에서 랜덤 특징 방법의 샘플 효율성을 향상시키는 데 사용될 수 있는가?
• RQ2 경험적 레버리지 스코어 기반의 랜덤 특징 샘플링의 이론적 일반화 성능는 어떠한가?
• RQ3 경험적 레버리지 스코어 샘플링의 성능는 기존 몬테카를로 샘플링과 비교하여 어떻게 되는가?
• RQ4 경험적 레버리지 스코어 샘플링은 레이블 정보를 사용하지 않아도 지도 학습 기반 데이터 의존적 방법과 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 이 프레임워크에서 일반화 오차를 지배하는 상충 관계는 무엇인가?

주요 결과

• 제안된 방법은 실제 데이터셋에서 표본 외 성능에서 기본 몬테카를로 샘플링을 일관되게 능가한다.
• 샘플링 기법에 경미한 수정을 가한 결과, 레이블 정보를 사용하지 않아도 지도 학습 기반 데이터 의존적 커널 학습 방법과 경쟁 가능한 성능를 달성한다.
• 이론적 분석은 랜덤 특징 영역에서 정의된 커널의 근사 오차와 고유값 감쇠율 사이의 상충 관계를 드러낸다.
• 일반화 오차의 기대값은 $ \mathbb{E}[e_{2}] \leq 4G\sqrt{\Delta F\mathbb{E}_{d\tau}\left[\frac{\lambda}{\sigma_{M_{0}}(\mathbf{G})}\right]} $ 로 경계되며, 고유값 감쇠에 대한 의존성을 보여준다.
• $ e_3 $ 에 대한 경계는 $ \mathbb{E}[e_3] \leq G8\sqrt{\lambda} $ 이며, 정규화 파라미터가 오차에 미치는 영향을 반영한다.
• 분석은 경험적 레버리지 스코어가 이론적 레버리지 스코어의 실용적이고 이론적으로 타당한 대체 방법임을 확인하며, 효율적이고 효과적인 랜덤 특징 샘플링을 가능하게 한다.