[논문 리뷰] Compression, inversion, and approximate PCA of dense kernel matrices at near-linear computational complexity

Florian Schäfer, T. J. Sullivan외 1명|arXiv (Cornell University)|2017. 06. 07.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 매끄러운 공분산 함수에서 유도된 밀도 핵심 행렬에 대해 압축, 역행렬 계산, 근사 PCA를 수행하는 근선형 복잡도 알고리즘을 제안한다. 공간적 구성에 기반해 희소성 패턴을 식별하고, 제로-필린 불완전 콜레프스키 분해를 적용함으로써, O(N log²N log²d(N/ε)) 시간과 O(N log N logd(N/ε)) 공간에서 ε-근사 행렬 압축과 역행렬 계산을 달성하며, 근사 정확도가 증명 가능하고 PCA에 대해 최적 수렴 속도를 보인다.

ABSTRACT

Dense kernel matrices $\\Theta \\in \\mathbb{R}^{N \ imes N}$ obtained from point evaluations of a covariance function $G$ at locations $\\{ x_{i} \\}_{1 \\leq i \\leq N} \\subset \\mathbb{R}^{d}$ arise in statistics, machine learning, and numerical analysis. For covariance functions that are Green's functions of elliptic boundary value problems and homogeneously-distributed sampling points, we show how to identify a subset $S \\subset \\{ 1 , \\dots , N \\}^2$, with $\\# S = O ( N \\log (N) \\log^{d} ( N /\\epsilon ) )$, such that the zero fill-in incomplete Cholesky factorisation of the sparse matrix $\\Theta_{ij} 1_{( i, j ) \\in S}$ is an $\\epsilon$-approximation of $\\Theta$. This factorisation can provably be obtained in complexity $O ( N \\log( N ) \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2}( N ) \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators; we further present numerical evidence that $d$ can be taken to be the intrinsic dimension of the data set rather than that of the ambient space. The algorithm only needs to know the spatial configuration of the $x_{i}$ and does not require an analytic representation of $G$. Furthermore, this factorization straightforwardly provides an approximate sparse PCA with optimal rate of convergence in the operator norm. Hence, by using only subsampling and the incomplete Cholesky factorization, we obtain, at nearly linear complexity, the compression, inversion and approximate PCA of a large class of covariance matrices. By inverting the order of the Cholesky factorization we also obtain a solver for elliptic PDE with complexity $O ( N \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators.

연구 동기 및 목표

• 통계, 기계 학습, PDE 등에서 흔히 발생하는 밀도 핵심 행렬 연산의 O(N³) 계산 병목 현상을 해결하기 위해.
• 핵심 함수의 해석적 형태가 필요 없이도 밀도 핵심 행렬의 근선형 복잡도 역행렬 계산과 압축을 가능하게 하는 방법을 개발하기 위해.
• 데이터에 적응하는 알고리즘을 제공하여 데이터의 내재된 저차원 구조를 자동으로 활용하기 위해.
• 단지 표본 추출과 불완전 콜레프스키 분해만을 사용하여 근사 PCA에 대해 최적 수렴 속도와 타원 PDE의 빠른 직접 해법을 달성하기 위해.
• 소멸 모멘트 조건과 局소 평균화를 요구하지 않도록 하여 연장자형 웨이브릿과 갬블릿 변환을 일반화하기 위해.

제안 방법

• 표본 점의 공간적 구성에만 기반해 크기가 O(N log N logd(N/ε))인 희소성 패턴 S ⊂ {1,…,N}²를 식별한다.
• 희소 행렬 Θ_ij 1_{(i,j)∈S}에 대해 제로-필린 불완전 콜레프스키 분해를 적용하여, 연산자 노름에서 전체 밀도 핵심 행렬 Θ를 ε 이내로 증명 가능한 근사치를 제공한다.
• 연산자 적응 웨이브릿 이론과 필터링 효과 이론을 활용해 핵심 함수 G의 해석적 표현이 필요 없이도 희소성 패턴 선택을 정당화한다.
• 콜레프스키 인수 L을 직접 활용해 연산자 노름에서 최적 수렴 속도를 갖는 근사 희소 PCA를 계산한다.
• 콜레프스키 분해의 제거 순서를 뒤집어 타원 PDE에 대한 빠른 직접 해법을 구성하며, 시간 복잡도는 O(N log²d(N/ε))이고 공간 복잡도는 O(N logd(N/ε))이다.
• 내재 차원 d에 따라 적응하는 계층적이고 데이터 기반의 접근 방식을 사용하여, 환경 차원이 아닌 내재 차원에 기반한다.

실험 결과

연구 질문

• RQ1 매끄러운 공분산 함수에서 유도된 밀도 핵심 행렬은 핵심 함수의 해석적 형태가 없더라도 근선형 시간 내에 압축 및 역행렬 계산이 가능한가?
• RQ2 신중히 선택된 희소성 패턴에 대한 희소 콜레프스키 분해가 증명 가능한 정확도로 전체 밀도 핵심 행렬을 ε-근사로 제공하는가?
• RQ3 그러한 패턴의 불완전 콜레프스키 분해가 연산자 노름에서 최적 수렴 속도를 갖는 근사 PCA를 제공하는가?
• RQ4 동일한 분해를 뒤집어 타원 PDE에 대해 기존 방법보다 향상된 복잡도를 갖는 빠른 직접 해법을 도출할 수 있는가?
• RQ5 고차원 환경 차원에 대해 강건하면서도 데이터의 내재 차원을 자동으로 활용할 수 있는가?

주요 결과

• 알고리즘은 O(N log²N log²d(N/ε)) 시간과 O(N log N logd(N/ε)) 공간에서 밀도 핵심 행렬의 ε-근사 압축 및 역행렬 계산을 달성하며, 기존 표준 콜레프스키 분해의 O(N³)에 비해 크게 향상되었다.
• 선택된 희소성 패턴 S에 대한 희소 콜레프스키 분해는 연산자 노름에서 최적 수렴 속도를 갖는 근사 PCA를 제공한다.
• 핵심 함수 G의 해석적 형태를 알 필요 없이, 오직 표본 점의 공간적 구성 정보만으로도 알고리즘이 작동한다.
• 수치적 증거는 복잡도의 지수 d가 환경 차원이 아닌 데이터 세트의 내재 차원으로 대체될 수 있음을 시사한다.
• 알고리즘은 O(N log²d(N/ε)) 시간 복잡도와 O(N logd(N/ε)) 공간 복잡도를 갖는 타원 PDE에 대한 빠른 직접 해법을 가능하게 하여 기존 기술 수준을 향상시킨다.
• 소멸 모멘트 조건과 국소 평균화를 요구하지 않도록 하여 갬블릿 변환을 일반화함으로써 더 넓은 적용 가능성을 확보한다.