[논문 리뷰] PAC-Bayesian bounds for Principal Component Analysis in Hilbert spaces

Ilaria Giulini|arXiv (Cornell University)|2015. 11. 19.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 7

한 줄 요약

이 논문은 힐버트 공간에서 강건한 주성분 분석(PCA)을 위한 PAC-Bayesian PAC-Bayesian 경계를 제안한다. 이는 그람 행렬의 강건한 추정을 통해 이루어지며, 리프시츠 함수를 통한 부드러운 스펙트럼 컷오프를 활용하여, 스펙트럼의 큰 고유값 갭이 필요로 하지 않는 연산자 노름과 프로베니우스 노름에서 차원에 종속되지 않는 오차 경계를 달성한다.

ABSTRACT

Based on some new robust estimators of the covariance matrix, we propose stable versions of Principal Component Analysis (PCA) and we qualify it independently of the dimension of the ambient space. We first provide a robust estimator of the orthogonal projector on the largest eigenvectors of the covariance matrix. The behavior of such an estimator is related to the size of the gap in the spectrum of the covariance matrix and in particular a large gap is needed in order to get a good approximation. To avoid the assumption of a large eigengap in the spectrum of the covariance matrix we propose a robust version of PCA that consists in performing a smooth cut-off of the spectrum via a Lipschitz function. We provide bounds on the approximation error in terms of the operator norm and of the Frobenius norm.

연구 동기 및 목표

• 환경 차원에 종속되지 않는 안정적이고 강건한 PCA를 개발하여, 특히 고차원 또는 무한차원 힐버트 공간에서 유용하게 사용할 수 있도록 한다.
• 기존 PCA와 강건한 추정기의 한계를 해결하기 위해 공분산 연산자의 스펙트럼에서 큰 고유값 갭이 필요로 하는 문제를 해결한다.
• PAC-Bayesian 기법을 활용하여 스펙트럼 프로젝터의 근사 오차에 대한 비점근적이고 차원에 종속되지 않는 경계를 제공한다.
• 힐버트 공간 연산자의 성질과 강건한 그람 행렬 추정을 활용하여 강건한 PCA를 무한차원 설정으로 확장한다.
• 고유값 갭 크기 의존성을 스펙트럼 컷오프 함수의 리프시츠 상수 의존성으로 대체하여 더 넓은 적용 가능성을 확보한다.

제안 방법

• empirical 데이터 기반으로 2차 형식에 대한 신뢰 영역을 구성하기 위해 PAC-Bayesian 프레임워크를 활용하여, 그람 행렬의 강건한 추정기의 설계를 수행한다.
• 기하학적 중앙값 유사 원리에 기반한 공분산 연산자(그람 행렬)의 강건한 추정기를 사용하여, 무거운 尾 비율 분포 하에서도 안정성을 확보한다.
• 1-리프시츠 함수를 사용한 부드러운 스펙트럼 컷오프를 제안하여 고유값의 날카운 임계값 처리를 대체함으로써, 큰 고유값 갭에 의존하지 않도록 한다.
• 컷오프 함수의 리프시츠 상수를 활용하여, 연산자 노름과 프로베니우스 노름에서 스펙트럼 프로젝터의 근사 오차에 대한 경계를 유도한다.
• 정규직교 프로젝터 분해 기법과 힐버트 공간 내에서의 스펙트럼 분석을 적용하여 진짜 프로젝터와 추정 프로젝터 간의 차이를 특성화한다.
• 집중 부등식과 PAC-Bayesian 추정기의 강건성 특성을 활용하여, 차원에 종속되지 않는 오차 경계를 수립한다.

실험 결과

연구 질문

• RQ1 강건한 PCA는 환경 차원에 종속되지 않는 방식으로 어떻게 공식화할 수 있는가, 특히 무한차원 힐버트 공간에서?
• RQ2 강건한 PCA에서 스펙트럼의 큰 고유값 갭 의존성을 유지하면서도 날카운 오차 경계를 확보하기 위해 어떻게 제거할 수 있는가?
• RQ3 스펙트럼 컷오프 함수의 리프시츠 상수와 PCA에서의 근사 오차 사이의 관계는 무엇인가?
• RQ4 PAC-Bayesian 부등식은 고차원 또는 기능적 설정에서 스펙트럼 프로젝터에 대한 비점근적이고 차원에 종속되지 않는 경계를 효과적으로 유도하는 데 사용될 수 있는가?
• RQ5 그람 행렬의 강건한 추정기는 중도에 오염되거나 무거운 꼬리 분포를 가진 데이터에서 PCA의 안정성을 어떻게 향상시키는가?

주요 결과

• 그람 행렬의 강건한 추정기는 두 번째 순서 모멘트 이외의 조건 없이도, 중도에 오염된 데이터 하에서도 고유값과 고유벡터의 안정적 추정을 보장한다.
• 부드러운 컷오프를 적용한 제안된 강건한 PCA는 연산자 노름에서 오차 경계가 컷오프 함수의 리프시츠 상수에 반비례하여 변화하며, 이는 큰 고유값 갭이 필요로 하지 않음을 의미한다.
• 프로베니우스 노름의 경우, 오차 경계는 동일한 리프시츠 상수와 고유값 감쇠율에 따라 제약을 받으며, 이는 차원에 종속되지 않는 오차 제어를 가능하게 한다.
• 이 방법은 분리 가능한 힐버트 공간으로 일반화되어, 비점근적이고 차원에 종속되지 않는 보장이 있는 강건한 커널 PCA를 가능하게 한다.
• 스펙트럼 분해와 정규직교 프로젝터 분석을 통해 이론적 경계를 도출하였으며, 진짜 프로젝터와 추정 프로젝터의 차이는 스펙트럼 갭과 리프시츠 스무쓰니스에 의해 제어됨을 보였다.
• 결과는 비점근적이며 유한한 표본 크기에서도 성립하므로, 고차원 또는 기능적 데이터 분석에서 실용적인 구현에 적합하다.