[논문 리뷰] Communication Efficient Distributed Kernel Principal Component Analysis

Maria-Florina Balcan, Yingyu Liang외 3명|arXiv (Cornell University)|2015. 03. 23.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 하위공간 임bedding과 적응형 샘플링을 사용하여 상대 오차 보장을 갖는 전역 커널 주성분을 계산하는 통신 효율적인 분산 커널 PCA 알고리즘을 제안한다. 이 알고리즘은 특성 공간 차원에 관계없이 Õ(sρk/ε + sk²/ε³) 단어의 거의 최적의 통신 복잡도를 달성하며, 실제 데이터셋에서 정확도와 통신 효율성 측면에서 베이스라인을 능가한다.

ABSTRACT

Kernel Principal Component Analysis (KPCA) is a key machine learning algorithm for extracting nonlinear features from data. In the presence of a large volume of high dimensional data collected in a distributed fashion, it becomes very costly to communicate all of this data to a single data center and then perform kernel PCA. Can we perform kernel PCA on the entire dataset in a distributed and communication efficient fashion while maintaining provable and strong guarantees in solution quality? In this paper, we give an affirmative answer to the question by developing a communication efficient algorithm to perform kernel PCA in the distributed setting. The algorithm is a clever combination of subspace embedding and adaptive sampling techniques, and we show that the algorithm can take as input an arbitrary configuration of distributed datasets, and compute a set of global kernel principal components with relative error guarantees independent of the dimension of the feature space or the total number of data points. In particular, computing $k$ principal components with relative error $ε$ over $s$ workers has communication cost $ ilde{O}(s ρk/ε+s k^2/ε^3)$ words, where $ρ$ is the average number of nonzero entries in each data point. Furthermore, we experimented the algorithm with large-scale real world datasets and showed that the algorithm produces a high quality kernel PCA solution while using significantly less communication than alternative approaches.

연구 동기 및 목표

• 커널 PCA를 위해 분산된 고차원 데이터를 중심 노드로 전송하는 데 발생하는 높은 통신 비용을 해결하기 위해.
• 비선형 특성 추출에 대해 해의 품질에 강력한 이론적 보장을 유지하는 분산 알고리즘을 개발하기 위해.
• 커널 특성 공간 차원에 관계없이 통신 복잡도가 독립적이게 하기 위해(해당 차원이 무한일 수 있음).
• 이미지, 텍스트, 헬스케어 데이터 분석과 같은 대규모 애플리케이션을 위한 확장 가능하고 저통신 커널 PCA를 가능하게 하기 위해.
• 분산 스펙트럴 클러스터링 및 후속 머신 러닝 작업을 위한 실용적이고 이론적으로 탄탄한 솔루션을 제공하기 위해.

제안 방법

• 알고리즘은 전역 커널 부분공간의 구조를 유지하는 소규모이자 대표적인 데이터 포인트 집합을 구성하기 위해 적응형 샘플링을 사용한다.
• 선택된 부분집합이 전체 데이터의 커널 주성분을 (1+ε) 상대 오차 내에서 근사하도록 하위공간 임베딩 기법을 적용한다.
• 마스터-워커 아키텍처에서 작동하며, 각 워커는 데이터 파artition을 보유하고 중심 노드와만 통신한다.
• 다항식 및 이동 불변 커널(예: RBF)의 경우, 임의의 크기로 줄일 수 있는 추가 오차를 갖는 (1+ε)-근사치를 달성한다.
• 통신 비용 O(sρk/ε + sk²)를 갖는 새로운 분산 컬럼 서브셋 선택(CSS) 알고리즘을 서브루틴으로 도입하며, 이는 하한에 거의 근접한다.
• 알고리즘은 계산된 저랭크 부분공간으로 데이터를 투영하여 분산 k-means 클러스터링과 같은 후속 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 커널 특성 공간 차원에 관계없이 통신 비용이 독립적인 분산 환경에서 커널 PCA를 수행할 수 있는가?
• RQ2 최소한의 통신으로 최적의 랭크-k 커널 부분공간에 대한 (1+ε)-상대 오차 근사치를 달성할 수 있는가?
• RQ3 전역 커널 PCA 해를 근사하기 위해 소규모이자 대표적인 데이터 포인트 집합을 선택하는 통신 효율적인 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 제안된 방법은 여러 워커를 통해 효과적으로 확장될 수 있으며, 높은 해의 품질을 유지할 수 있는가?
• RQ5 알고리즘이 균일 샘플링과 배치 KPCA보다 통신 효율성과 근사 정확도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 알고리즘은 Õ(sρk/ε + sk²/ε³) 단어의 통신 비용을 달성하며, 이는 거의 최적이며 특성 공간 차원에 관계없이 독립적이다.
• bow와 20news와 같은 희소 데이터셋에서는 희소성의 특성을 활용하여 균일 샘플링 방법보다 훨씬 낮은 오차를 달성한다.
• 가우시안 RBF 커널의 경우, 후자의 통신 비용이 훨씬 더 높은 데도 불구하고, disKPCA는 균일 샘플링 + 배치 KPCA보다 낮은 근사 오차를 기록한다.
• higgs 데이터셋에서는 disKPCA가 통신 비용의 1/5 미만으로 균일 샘플링 + disLR와 동일한 오차를 달성한다.
• 알고리즘은 효과적인 분산 스펙트럴 클러스터링을 가능하게 하며, 통신 비용과 k-means 목적 함수 값 간의 트레이드오���에서 베이스라인을 능가한다.
• 스케일링 실험 결과 4배의 더 많은 워커를 사용할 경우 2배의 속도 향상을 보였으며, 계산 최적화를 위해 설계되지 않았음에도 불구하고 유리한 병렬 처리 성질을 보였다.