[논문 리뷰] Memory-efficient Kernel PCA via Partial Matrix Sampling and Nonconvex Optimization: a Model-free Analysis of Local Minima

Chen Ji, Xiaodong Li|arXiv (Cornell University)|2017. 11. 06.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 부분 행렬 샘플링과 비볼록 최적화를 사용한 메모리 효율적인 커널 주성분 분석(Kernel PCA) 방법을 제안하며, 커널 행렬의 구조에 대한 가정 없이 저질서 근사화를 가능하게 한다. 모델에 의존하지 않는 이론을 수립하여, 목적 함수의 임의의 국소 최솟값이 유효한 저질서 근사화를 제공함을 보이며, 이는 구조화된 설정에서 이전의 비볼록 행렬 완성 결과를 향상시킨다.

ABSTRACT

Kernel PCA is a widely used nonlinear dimension reduction technique in machine learning, but storing the kernel matrix is notoriously challenging when the sample size is large. Inspired by Yi et al. [2016], where the idea of partial matrix sampling followed by nonconvex optimization is proposed for matrix completion and robust PCA, we apply a similar approach to memory-efficient Kernel PCA. In theory, with no assumptions on the kernel matrix in terms of eigenvalues or eigenvectors, we established a model-free theory for the low-rank approximation based on any local minimum of the proposed objective function. As interesting byproducts, when the underlying positive semidefinite matrix is assumed to be low-rank and highly structured, corollaries of our main theorem improve the state-of-the-art results of Ge et al. [2016, 2017] for nonconvex matrix completion with no spurious local minima. Numerical experiments also show that our approach is competitive in terms of approximation accuracy compared to the well-known Nystr\{o}m algorithm for Kernel PCA.

연구 동기 및 목표

• 고차원 데이터셋에서 큰 커널 행렬을 저장함으로써 발생하는 메모리 병목 현상을 해결하기 위해.
• 전체 커널 행렬 저장을 피하기 위해 부분 샘플링을 통해 확장 가능한 전통적 커널 주성분 분석의 대안을 개발하기 위해.
• 고유값 분해에 대한 가정 없이, 비볼록 목적 함수의 국소 최솟값을 사용한 저질서 근사화에 대해 이론적 보장을 제공하기 위해.
• 저질서이고 매우 구조화된 설정에서 최신 비볼록 행렬 완성 결과를 향상시키기 위해.
• 수치 실험에서 Nyström 방법과 비교하여 경쟁 가능한 근사 정확도를 보여주기 위해.

제안 방법

• Yi 등 (2016)의 부분 행렬 샘플링 및 비볼록 최적화 프레임워크를 커널 주성분 분석에 적응시킴.
• 커널 행렬의 샘플링된 요소들을 사용하여 저질서 요인에 대한 비볼록 최적화 문제를 구성함.
• 저질서 구조로 커널 행렬을 근사하는 인수분해 기반 목적 함수를 활용함.
• 특정 고유값 또는 고유벡터 성질을 가정하지 않고 목적 함수의 국소 최솟값의 행동을 분석함.
• 모델에 의존하지 않는 수렴 보장을 위해 이론적 도구를 활용함.
• 보조정리를 통해 Ge 등 (2016, 2017)의 결과보다 구조화된 저질서 설정에서 향상된 결과를 보여줌.

실험 결과

연구 질문

• RQ1 부분 행렬 샘플링과 비볼록 최적화의 조합이 전체 커널 행렬 저장 없이 메모리 효율적인 커널 주성분 분석을 가능하게 할 수 있는가?
• RQ2 비볼록 목적 함수의 국소 최솟값을 사용할 경우, 저질서 근사화에 대해 어떤 이론적 보장이 제공될 수 있는가?
• RQ3 제안된 방법은 근사 정확도 측면에서 Nyström 알고리즘과 같은 기존 방법과 어떻게 비교되는가?
• RQ4 이 방법은 어떤 조건에서 이전의 비볼록 행렬 완성 기법을 초월하는가?
• RQ5 모델에 의존하지 않는 국소 최솟값 분석을 구조화된 저질서 커널 행렬로 확장할 수 있는가?

주요 결과

• 수치 실험에서 잘 알려진 Nyström 알고리즘과 비교하여 제안된 방법이 경쟁 가능한 근사 정확도를 달성함.
• 모델에 의존하지 않는 이론은 비볼록 목적 함수의 임의의 국소 최솟값이 커널 행렬 고유값 분해의 구조에 관계없이 유효한 저질서 근사화를 제공함을 보장함.
• 구조화된 저질서 설정에서, Ge 등 (2016, 2017)의 비볼록 행렬 완성에 대한 최신 기술 결과를 향상시킴.
• 이론적 프레임워크는 커널 행렬의 고유값이나 고유벡터에 대한 가정이 필요 없어 일반성을 향상시킴.
• 부분 샘플링을 통해 전체 커널 행렬 저장을 피함으로써 메모리 사용을 효과적으로 줄임.
• 분석 결과, 제안된 목적 함수 하에서 저질서 근사화의 맥락에서 국소 최솟값이 유사한 최솟값이 아님을 밝혀냄.