[논문 리뷰] Scale Up Nonlinear Component Analysis with Doubly Stochastic Gradients

Bo Xie, Yingyu Liang외 1명|arXiv (Cornell University)|2015. 04. 14.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 17

한 줄 요약

이 논문은 비선형 성분 분석, 예를 들어 커널 주성분 분석(KPCA)과 코사인 공분산 분석(CCA)을 확장하기 위해 무작위 데이터 샘플링과 무작위 특징 근사화를 조합한 이重난성 경사 하강법을 제안한다. 명시적인 직교화 없이도 전역 최적해로 향하는 유한 시간 수렴 속도 $\tilde{O}(1/t)$를 달성하여 수백만 개의 데이터 포인트를 포함하는 대규모 데이터셋에서 효율적이고 메모리 친화적인 학습을 가능하게 한다.

ABSTRACT

Nonlinear component analysis such as kernel Principle Component Analysis (KPCA) and kernel Canonical Correlation Analysis (KCCA) are widely used in machine learning, statistics and data analysis, but they can not scale up to big datasets. Recent attempts have employed random feature approximations to convert the problem to the primal form for linear computational complexity. However, to obtain high quality solutions, the number of random features should be the same order of magnitude as the number of data points, making such approach not directly applicable to the regime with millions of data points. We propose a simple, computationally efficient, and memory friendly algorithm based on the "doubly stochastic gradients" to scale up a range of kernel nonlinear component analysis, such as kernel PCA, CCA and SVD. Despite the \emph{non-convex} nature of these problems, our method enjoys theoretical guarantees that it converges at the rate $ ilde{O}(1/t)$ to the global optimum, even for the top $k$ eigen subspace. Unlike many alternatives, our algorithm does not require explicit orthogonalization, which is infeasible on big datasets. We demonstrate the effectiveness and scalability of our algorithm on large scale synthetic and real world datasets.

연구 동기 및 목표

• 수백만 개의 데이터 포인트를 포함하는 대규모 데이터셋에서 커널 기반 비선형 성분 분석 방법, 예를 들어 KPCA와 KCCA의 확장성 한계를 해결하기 위해.
• 모든 데이터 포인트를 저장이 필요한 배치 방법과 표준 확률적 경사 하강법의 메모리 및 계산 병목 현상을 극복하기 위해.
• 대규모 커널 방법에서 실현 불가능한 명시적 직교화를 피할 수 있는 방법을 개발하기 위해.
• 이중 난수 프레임워크 하에서 비볼록 커널 성분 분석 문제에 대해 이론적 수렴 보장을 제공하기 위해.
• 새로운 데이터가 도착함에 따라 무작위 특징의 수를 동적으로 늘림으로써 모델 복잡도를 적응적으로 증가시킬 수 있도록 하기 위해.

제안 방법

• 완전한 배치 및 완전한 커널 계산을 대체하기 위해 동시에 무작위 데이터 포인트와 무작위 특징을 샘플링하는 이중 난수 경사 하강법을 사용한다.
• 선형 계산 복잡도를 달성하기 위해 명시적 무작위 특징 매핑을 통한 원시 형태 최적화를 적용한다.
• 명시적 직교화 없이도 상위-k 고유 부분공간을 추정하기 위해 확률적 거듭제곱 반복 업데이트를 적용한다.
• 고정된 난수 시드를 통해 무작위 특징을 재생성함으로써 학습 데이터 저장을 피함으로써 소규모 메모리 사용량을 유지한다.
• 각 반복에서 소규모 데이터 포인트 부분집합에 대해 무작위 특징을 평가하는 미니배치 업데이트를 사용한다.
• 이론적 분석은 농도 불확실성과 재귀적 오차 전파를 통한 확률적 경사 하강의 근사 오차를 경계하는 데 기반한다.

실험 결과

연구 질문

• RQ1 이중 난수 경사 하강법은 KPCA와 KCCA와 같은 비볼록 커널 성분 분석 문제에 효과적으로 적용될 수 있는가?
• RQ2 비볼록 문제의 성격에도 불구하고 제안된 방법이 전역 최적해로의 유한 시간 수렴을 달성할 수 있는가?
• RQ3 수백만 개의 데이터 포인트를 포함하는 데이터셋에 대해 저메모리 사용과 높은 정확도를 유지하면서 확장 가능한가?
• RQ4 명시적 직교화의 부재가 대규모 환경에서 수렴과 성능에 어떤 영향을 미치는가?
• RQ5 데이터 증가에 따라 무작위 특징의 수를 늘림으로써 모델 복잡도를 적응적으로 증가시킬 수 있는가?

주요 결과

• 제안된 방법은 비볼록 설정에서도 상위-k 고유 부분공간으로의 전역 최적해로 향하는 유한 시간 수렴 속도 $\tilde{O}(1/t)$를 달성한다.
• 명시적 직교화 없이도 수렴이 가능하여 대규모 커널 방법에서 계산적으로 비현실적인 작업을 피할 수 있다.
• 알고리즘이 수백만 개의 데이터 포인트를 포함하는 데이터셋으로 확장되며, 시뮬레이션 및 실제 데이터에서 뛰어난 경험적 성능을 보여준다.
• 무작위 특징의 수를 동적으로 증가시킬 수 있어 스트리밍 데이터 환경에서 비모수적 유연성을 제공한다.
• 이론적 분석은 기대 오차가 $\tilde{O}(1/t)$로 감소함을 확인하며, $1 - c_t^2 = O(\frac{1}{t} \ln \frac{t}{\delta})$임을 보여, 진짜 부분공간으로의 빠른 수렴을 시사한다.
• 경험적 결과는 고정된 특징 기반 대비 더 많은 무작위 특징을 사용할수록 훨씬 우수한 해를 도출함을 보여준다.