[논문 리뷰] Data-dependent compression of random features for large-scale kernel approximation

Raj Agrawal, Trevor Campbell외 2명|arXiv (Cornell University)|2018. 10. 09.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 이론적 근거를 유지하면서 큰 수의 랜덤 특징을 작은 가중치가 부여된 부분집합으로 압축하는 데이터에 의존하는 압축 방법을 제안한다. 랜덤 특징 맵과 효율적인 데이터 기반 특징 선택을 결합함으로써, 상태의 최고 수준의 방법보다 훨씬 적은 특징 수인 O(log J₊)로 near-optimal 커널 행렬 근사치를 달성한다. 이는 5000만 건이 넘는 관측치를 가진 데이터셋에서 입증되었다.

ABSTRACT

Kernel methods offer the flexibility to learn complex relationships in modern, large data sets while enjoying strong theoretical guarantees on quality. Unfortunately, these methods typically require cubic running time in the data set size, a prohibitive cost in the large-data setting. Random feature maps (RFMs) and the Nystrom method both consider low-rank approximations to the kernel matrix as a potential solution. But, in order to achieve desirable theoretical guarantees, the former may require a prohibitively large number of features J+, and the latter may be prohibitively expensive for high-dimensional problems. We propose to combine the simplicity and generality of RFMs with a data-dependent feature selection scheme to achieve desirable theoretical approximation properties of Nystrom with just O(log J+) features. Our key insight is to begin with a large set of random features, then reduce them to a small number of weighted features in a data-dependent, computationally efficient way, while preserving the statistical guarantees of using the original large set of features. We demonstrate the efficacy of our method with theory and experiments--including on a data set with over 50 million observations. In particular, we show that our method achieves small kernel matrix approximation error and better test set accuracy with provably fewer random features than state-of-the-art methods.

연구 동기 및 목표

• 대규모 환경에서 커널 방법의 높은 계산 비용을 줄이기 위해 정확한 커널 근사치를 위해 필요한 랜덤 특징의 수를 감소시키는 것.
• Nyström 방법의 이론적 강건성과 랜덤 특징 맵의 단순성과 일반성을 결합하는 것.
• 원래의 큰 특징 집합의 통계적 보장을 유지하면서 계산 효율성이 높은 데이터 기반 특징 선택 기법을 개발하는 것.
• 기존 방법보다 훨씬 적은 특징 수로 증명 가능하게 더 낮은 근사 오차와 더 높은 테스트 정확도를 달성하는 것.

제안 방법

• 이론적 근사 보장을 확보하기 위해 큰 수의 J₊ 랜덤 특징으로 시작한다.
• 초기 집합에서 작은 가중치가 부여된 특징 부분집합을 선택하기 위해 데이터에 의존하는 압축 기법을 적용한다.
• 데이터 기하학적 구조와 커널 구조에 기반해 가장 정보가 많은 특징을 식별하기 위해 볼록 최적화 프레임워크를 사용한다.
• 볼록 Hull과 거리 기반 기준을 활용해 데이터 다양체를 가장 잘 대표하는 특징을 우선순위에 두는 방식으로 처리한다.
• 압축된 특징 집합이 전체 집합과 동일한 통계적 성질을 유지하도록 보장하며, 이는 커널 행렬 근사 오차 한계를 포함한다.
• 특징 수가 5000만 건이 넘는 대규모 데이터셋과 같은 환경에서도 효율적으로 확장될 수 있도록 선택 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 데이터 기반 압축 기법은 이론적 보장을 유지하면서 커널 근사치를 위한 랜덤 특징의 수를 줄일 수 있는가?
• RQ2 제안된 방법은 근사 오차와 테스트 정확도 측면에서 Nyström 및 표준 랜덤 특징 맵과 비교해 어떻게 성능을 내는가?
• RQ3 데이터 기반 선택 하에 near-optimal 커널 근사치를 달성하기 위해 필요한 최소한의 특징 수는 얼마인가?
• RQ4 5000만 건이 넘는 관측치를 가진 대규모 데이터셋에서도 저비용 계산을 유지하면서 확장 가능한가?

주요 결과

• 이 방법은 전체 랜덤 특징 맵과 비슷한 커널 행렬 근사 오차를 달성하지만, 특징 수를 O(log J₊)로 크게 줄였다.
• 5000만 건이 넘는 관측치를 가진 데이터셋에서, 기존 최고 수준의 접근 방식보다 훨씬 적은 특징 수를 사용하면서도 높은 테스트 세트 정확도를 유지했다.
• 데이터 기반 압축 기법은 원래의 큰 특징 집합의 이론적 근사 보장을 유지하여 강건한 성능을 보였다.
• 표준 랜덤 특징 맵과 Nyström 기반 방법보다 훨씬 낮은 특징 차원수로도 근사 오차와 테스트 정확도에서 모두 뛰어난 성능을 보였다.