[논문 리뷰] Distributed Kernel Principal Component Analysis.

Maria-Florina Balcan, Yingyu Liang외 3명|arXiv (Cornell University)|2015. 03. 23.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 9

한 줄 요약

이 논문은 다항식 커널에 대해 상대 오차를 보장하고, 가우시안 커널 및 기타 커널에 대해 작은 덧셈 오차를 보장하는 전역 주성분을 근사하기 위해 열 부분집합 선택과 스케칭을 사용하는 통신 효율적인 분산 커널 PCA 알고리즘을 제안한다. 무작위 부분공간 임bedding, 리스크 점수 근사, 그리고 적응형 샘플링을 조합함으로써, 이는 거의 최적의 통신 복잡도를 달성하여 이전 방법들에 비해 대역폭을 크게 감소시킨다.

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key technique in machine learning for extracting the nonlinear structure of data and pre-processing it for downstream learning algorithms. We study the distributed setting in which there are multiple workers, each holding a set of points, who wish to compute the principal components of the union of their pointsets. Our main result is a communication efficient algorithm that takes as input arbitrary data points and computes a set of global principal components, that give relative-error approximation for polynomial kernels, or give relative-error approximation with an arbitrarily small additive error for a wide family of kernels including Gaussian kernels. While recent work shows how to do PCA in a distributed setting, the setting is significantly more challenging. Although the kernel trick is useful for efficient computation, it is unclear how to use it to reduce communication. The main problem with previous work is that it achieves communication proportional to the dimension of the data points, which would be proportional to the dimension of the feature space, or to the number of examples, both of which could be very large. We instead first select a small subset of points whose span contains a good approximation (the column subset selection problem, CSS), and then use sketching for low rank approximation to achieve our result. The column subset selection is done using a careful combination of oblivious subspace embeddings for kernels, oblivious leverage score approximation, and adaptive sampling. These lead to nearly optimal communication bound for CSS, and also lead to nearly optimal communication for KPCA in the constant approximation region. Experiments on large scale real world datasets show the efficacy of our algorithm.

연구 동기 및 목표

• 데이터가 여러 워커에 분할된 분산 환경에서 전역 커널 PCA를 계산하는 데 도전하는 데 목적이 있다.
• 기존에 데이터 차원 또는 예제 수에 따라 증가하는 통신 비용을 줄이는 데 목적이 있다.
• 다항식 커널에 대해 상대 오차 근사를 달성하고, 가우시안 커널을 포함한 광범위한 커널 클래스에 대해 작은 덧셈 오차를 제공하는 데 목적이 있다.
• 상수 근사 모드에서 커널 PCA에 대해 거의 최적의 통신 복잡도를 확립하는 데 목적이 있다.
• 대규모 머신 러닝 파이프라인에서 스케일러블하고 효율적인 비선형 특징 추출을 가능하게 하는 데 목적이 있다.

제안 방법

• 방법은 전역 커널 행렬의 스위프를 근사할 수 있는 소수의 대표적인 데이터 포인트를 식별하기 위해 열 부분집합 선택(CSS)으로 시작한다.
• 낮은 랭크 근사 정확도를 확보하면서 최소한의 통신을 보장하기 위해 커널 공간에 맞춰진 무작위 부분공간 임베딩을 사용한다.
• 선택된 부분집합의 품질을 향상시키기 위해 정보가 풍부한 포인트를 우선순위로 지정하기 위해 리스크 점수 근사를 적응적으로 사용한다.
• 선택된 부분집합을 개선하면서도 통신을 유지하기 위해 적응형 샘플링을 적용한다.
• 스케칭 기법을 사용하여 분산 환경에서 커널 행렬의 낮은 랭크 근사를 효율적으로 계산한다.
• 이러한 구성 요소들의 조합은 CSS 및 KPCA 모두에 대해 거의 최적의 통신 복잡도를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 차원 또는 샘플 수에 관계없이 통신 복잡도가 독립적인 분산 환경에서 커널 PCA에 대해 상대 오차 근사를 달성할 수 있는가?
• RQ2 커널 공간에서 데이터의 전역 비선형 구조를 잘 반영하는 소수의 포인트를 효과적으로 선택할 수 있는가?
• RQ3 다항식 커널과 가우시안 커널 모두에 대해 근사 보장을 유지하면서 분산 KPCA에서 통신을 줄일 수 있는 기법은 무엇인가?
• RQ4 무작위 부분공간 임베딩과 리스크 점수 근사는 분산 환경에서 커널 기반 낮은 랭크 근사에 적응시킬 수 있는가?
• RQ5 분산 KPCA에 대해 이론적으로 달성 가능한 통신 복잡도의 한계는 무엇이며, 이를 얼마나 가까이 접근할 수 있는가?

주요 결과

• 제안된 알고리즘은 통신 복잡도가 거의 최적인 다항식 커널에 대해 상대 오차 근사를 달성한다.
• 가우시안 커널을 포함한 광범위한 커널 가족에 대해, 알고리즘은 임의로 작은 덧셈 오차를 가진 상대 오차 근사를 제공한다.
• 기존 방법들과 비교해 통신 비용이 크게 감소하였으며, 이는 데이터 차원 또는 예제 수에 따라 증가하는 경향이 있었다.
• 무작위 부분공간 임베딩, 리스크 점수 근사, 그리고 적응형 샘플링의 조합을 활용하여 거의 최적의 열 부분집합 선택을 달성한다.
• 대규모 실세계 데이터셋에서의 실험을 통해 알고리즘이 통신을 줄이면서도 높은 근사 품질을 유지함을 확인하였다.
• 이론적 분석을 통해 상수 근사 모드에서 열 부분집합 선택 및 커널 PCA 문제에 대해 거의 최적의 통신 복잡도 한계를 확립하였다.