[논문 리뷰] Recycling Randomness with Structure for Sublinear time Kernel Expansions

Krzysztof Choromański, Vikas Sindhwani|arXiv (Cornell University)|2016. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 21

한 줄 요약

이 논문은 단일 가우시안 랜덤 벡터를 재사용하여 유도된 구조적 랜덤 행렬을 사용하여 하향선형 시간 커널 근사화를 위한 일반적인 프레임워크를 제안한다. Fastfood 방법을 순환행렬, 토플리츠 행렬, 한켈 행렬 및 저이격도 랭크 행렬으로 확장하며, 비편향성과 낮은 분산을 증명하고, 일관성과 그래프 이론적 상수를 통해 근사 품질에 대한 이론적 보장을 제공함으로써 확장 가능한 커널 방법을 가능하게 한다.

ABSTRACT

We propose a scheme for recycling Gaussian random vectors into structured matrices to approximate various kernel functions in sublinear time via random embeddings. Our framework includes the Fastfood construction as a special case, but also extends to Circulant, Toeplitz and Hankel matrices, and the broader family of structured matrices that are characterized by the concept of low-displacement rank. We introduce notions of coherence and graph-theoretic structural constants that control the approximation quality, and prove unbiasedness and low-variance properties of random feature maps that arise within our framework. For the case of low-displacement matrices, we show how the degree of structure and randomness can be controlled to reduce statistical variance at the cost of increased computation and storage requirements. Empirical results strongly support our theory and justify the use of a broader family of structured matrices for scaling up kernel methods using random features.

연구 동기 및 목표

• 구조적 랜덤 행렬을 사용하여 하향선형 시간 내에 커널 함수를 근사화하는 일반적이고 효율적인 프레임워크를 개발하는 것.
• Fastfood 구성의 원래 범위를 초월하여 순환행렬, 토플리츠 행렬, 한켈 행렬 및 저이격도 랭크 행렬을 포함하도록 확장하는 것.
• 구조적 행렬에서 유도된 무작위 특징 맵의 비편향성과 낮은 분산에 대한 이론적 보장을 제공하는 것.
• 근사 품질과 무작위성과 구조성의 상호작용을 제어하는 일관성과 그래프 이론적 구조 상수를 도입하는 것.
• 구조적 행렬이 완전히 무구조적인 가우시안 랜덤 행렬과 비슷한 근사 품질을 달성하면서도 계산 비용을 감소시킬 수 있음을 경험적으로 검증하는 것.

제안 방법

• 기본 생성 행렬의 일련의 변환을 통해 단일 가우시안 랜덤 벡터를 재사용하여 구조적 랜덤 행렬을 구성하는 것.
• 저이격도 랭크 행렬을 순환행렬, 토플리츠 행렬, 한켈 행렬을 포함하는 일반적인 클래스로 사용하여 구조성과 무작위성 사이의 조절 가능한 트레이드오프를 가능하게 하는 것.
• 무작위성의 품질을 측정하고 근사 오차를 제어하기 위해 구조적 일관성과 그래프 이론적 상수를 정의하는 것.
• 내적의 농도를 분석하고 무작위 특징 맵의 낮은 분산을 보장하기 위해 아즈마 부등식과 유니온 바운드를 적용하는 것.
• 빠른 변환(예: 빠른 월리-하다마드 변환)을 활용하여 행렬-벡터 곱셈 시간을 O(kn)에서 O(k log n)으로 감소시키는 것.
• 기대 커널 추정치와 구조적 행렬 특징 맵 대비 가우시안 랜덤 특징 맵의 분산 간 차이에 대한 경계를 유도하는 것.

실험 결과

연구 질문

• RQ1 단일 가우시안 벡터에서 유도된 구조적 랜덤 행렬이 하향선형 시간 내에 비편향성과 낮은 분산의 커널 근사화를 달성할 수 있는가?
• RQ2 일관성과 그래프 이론적 상수는 구조적 무작위 특징 맵에서 커널 근사 품질에 어떤 영향을 미치는가?
• RQ3 저이격도 랭크 행렬이 통계적 및 계산적 효율성을 유지하면서 Fastfood 구성의 일반화에 얼마나 기여할 수 있는가?
• RQ4 이격도 랭크를 증가시킬수록 계산 비용과 근사 분산 간의 트레이드오프는 어떻게 변화하는가?
• RQ5 순환행렬 및 토플리츠 행렬과 같은 구조적 행렬이 완전히 가우시안 랜덤 행렬과 비슷한 커널 근사 품질을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 Fastfood를 일반화하며, 순환행렬, 토플리츠 행렬, 한켈 행렬을 특수 케이스로 포함하여 하향선형 시간 커널 근사화를 가능하게 한다.
• 구조적 행렬 기반의 무작위 특징 맵은 비편향적이며, 완전히 무구조적인 가우시안 케이스와 유사한 분산을 보인다.
• 일관성과 그래프 이론적 구조 상수의 도입으로 근사 품질과 분산에 대한 이론적 제어가 가능해진다.
• 저이격도 랭크 행렬은 계산 효율성과 통계적 분산 사이의 조절 가능한 트레이드오프를 가능하게 하며, 높은 이격도 랭크는 근사 품질 향상에 기여한다.
• 경험적 결과는 순환행렬, Fastfood, 저이격도 토플리츠 유사 행렬이 하향선형 시간 특징 맵 생성을 통해 고품질의 커널 근사화를 달성함을 확인한다.
• 이격도 랭크가 증가할수록 구조적 행렬의 근사 품질이 완전히 가우시안 랜덤 행렬에 가까워지며, 이는 이론적 경계의 타당성을 검증한다.