[논문 리뷰] Polynomial Time and Sample Complexity for Non-Gaussian Component Analysis: Spectral Methods

Tan Yan, Roman Vershynin|arXiv (Cornell University)|2017. 04. 04.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 비정규성 구조를 띠는 저차원 부분공간에서 데이터를 다항시간 및 다항샘플 복잡도로 복원할 수 있는 새로운 스펙트럼 방법인 재가중 PCA를 비정규성 성분 분석(NGCA)에 도입한다. 이 방법은 노름과 내적 비교를 통한 고차원 정규분포의 새로운 특성화를 활용하여, 미묘한 조건 하에서도 비정규 부분공간 내 적어도 한 방향을 증명 가능하게 회복함을 입증한다.

ABSTRACT

The problem of Non-Gaussian Component Analysis (NGCA) is about finding a maximal low-dimensional subspace $E$ in $\mathbb{R}^n$ so that data points projected onto $E$ follow a non-gaussian distribution. Although this is an appropriate model for some real world data analysis problems, there has been little progress on this problem over the last decade. In this paper, we attempt to address this state of affairs in two ways. First, we give a new characterization of standard gaussian distributions in high-dimensions, which lead to effective tests for non-gaussianness. Second, we propose a simple algorithm, \emph{Reweighted PCA}, as a method for solving the NGCA problem. We prove that for a general unknown non-gaussian distribution, this algorithm recovers at least one direction in $E$, with sample and time complexity depending polynomially on the dimension of the ambient space. We conjecture that the algorithm actually recovers the entire $E$.

연구 동기 및 목표

• 비정규 성분 분석(NGCA)에 대해 다항 시간 및 샘플 복잡도를 갖는 증명 가능하게 효율적인 알고리즘의 장기적인 부족을 해결하기 위해.
• 저신호대비잡음비에서조차도 비정규 부분공간을 회복할 수 있는 간단하고 효과적인 알고리즘을 개발하기 위해.
• 반경 및 내적 모멘트 조건에 기반한 고차원 정규분포의 새로운 이론적 특성화를 제공하기 위해.
• 제안된 재가중 PCA 알고리즘이 다항 샘플 및 시간 복잡도로 비정규 부분공간 내 적어도 한 방향을 회복함을 증명하기 위해.

제안 방법

• 데이터 포인트의 비선형 함수인 가중치를 갖는 가중 샘플에 대해 PCA를 수행하는 새로운 스펙트럼 방법인 재가중 PCA를 제안한다.
• 정규분포의 새로운 특성화를 사용한다: 만약 무작위 벡터가 표준 정규분포와 동일한 반경 분포와 동일한 쌍별 내적 분포를 갖는다면, 그 자체로도 정규분포이다.
• 데이터에 화이트닝 변환을 적용하여 등방성 조건을 가정함으로써 NGCA 모델을 표준 형태로 단순화한다.
• 모멘트 텐서 분해와 에너지 최소화를 적용하여, 노름과 내적 통계를 통한 비정규성 탐지에 대한 이론적 기반을 도출한다.
• Davis-Kahan 정리를 사용하여 고유벡터의 편향을 바ounds하고 스펙트럼 노름 오차를 부분공간 거리와 연결한다.
• 하나의 하중의 꼬리 행동을 서브정규 및 서브지수 꼬리 추정치를 사용하여 유한하게 하여 알고리즘의 강건성을 분석한다.

실험 결과

연구 질문

• RQ1 일반적인 비정규 분포 하에서, 단순한 스펙트럼 알고리즘이 다항시간 및 다항샘플 복잡도를 갖는 NGCA를 달성할 수 있는가?
• RQ2 반경 및 내적 모멘트에 기반한 고차원 정규분포의 새로운 특성화가 비정규성 탐지에 효과적인가?
• RQ3 재가중 PCA는 증명 가능 보장 하에 비정규 부분공간 내 적어도 한 방향을 회복할 수 있는가?
• RQ4 기존 PCA가 실패하는 저신호대비잡음비 상황에서 알고리즘의 성능은 강건한가?
• RQ5 알고리즘이 진정한 비정규 부분공간 E로 수렴하는가, 아니면 관련 부분공간 F로만 수렴하는가?

주요 결과

• 제안된 재가중 PCA 알고리즘은 환경 차원 n에 대해 다항 시간 및 샘플 복잡도로 비정규 부분공간 E 내 적어도 한 방향을 회복한다.
• 이 알고리즘은 데이터 분포가 화이트닝되고 등방성임을 가정하는 등방성 NGCA 모델 하에서 성립한다.
• 정규분포의 새로운 특성화가 확립되었다: 만약 무작위 벡터가 표준 정규분포와 동일한 반경 노름과 동일한 쌍별 내적 분포를 갖는다면, 그 자체로도 정규분포이다.
• 이론적 분석은 비정규성이 항상 데이터의 노름 또는 내적 구조에서의 이탈을 통해 탐지 가능하다고 보여준다.
• 분석이 오직 모멘트 조건과 꼬리 bound에 의존하므로, 무거운 꼬리 또는 비타원형 비정규 성분에 대해서도 이 방법은 강건하다.
• 저자들은 경험적 및 이론적 증거에 기반하여, 알고리즘이 단지 한 방향이 아닌 전체 비정규 부분공간 E를 회복한다고 추측한다.