[논문 리뷰] Refined Complexity of PCA with Outliers

Fedor V. Fomin, Petr A. Golovach외 2명|arXiv (Cornell University)|2019. 05. 10.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 이상치를 고려한 주성분 분석(PCA)에 대해 고정 매개변수 다항 시간 알고리즘을 제안하며, 이는 차원 $ d $ 가 상수일 경우 다항 시간 내에 문제를 해결한다. 또한, 지수 시간 가설(Exponential Time Hypothesis)이 성립하지 않는 한, 어떤 함수 $ f $ 에 대해 $ f(d)n^{o(d)} $ 시간 내에 문제를 정확히 해결하거나 상수 인자로 근사하는 알고리즘이 존재하지 않음을 증명하여, 문제에 대한 엄밀한 복잡도 하한을 확립한다.

ABSTRACT

Principal component analysis (PCA) is one of the most fundamental procedures in exploratory data analysis and is the basic step in applications ranging from quantitative finance and bioinformatics to image analysis and neuroscience. However, it is well-documented that the applicability of PCA in many real scenarios could be constrained by an "immune deficiency" to outliers such as corrupted observations. We consider the following algorithmic question about the PCA with outliers. For a set of $n$ points in $\mathbb{R}^{d}$, how to learn a subset of points, say 1% of the total number of points, such that the remaining part of the points is best fit into some unknown $r$-dimensional subspace? We provide a rigorous algorithmic analysis of the problem. We show that the problem is solvable in time $n^{O(d^2)}$. In particular, for constant dimension the problem is solvable in polynomial time. We complement the algorithmic result by the lower bound, showing that unless Exponential Time Hypothesis fails, in time $f(d)n^{o(d)}$, for any function $f$ of $d$, it is impossible not only to solve the problem exactly but even to approximate it within a constant factor.

연구 동기 및 목표

• 실제 데이터 분석에서 고전적 PCA가 이상치에 취약한 데 대비하기 위해.
• 이상치를 포함한 PCA의 매개변수 복잡도를 체계적으로 연구하기 위해, 그 목표는 $ k $ 개의 이상치 점을 식별하고 제외하는 것이다.
• 차원 $ d $ 와 이상치 수 $ k $ 를 기준으로 문제의 정확한 계산 복잡도를 규명하기 위해.
• 기본 복잡도 가정 하에 문제의 해법 가능성에 대한 엄밀한 상한과 하한을 설정하기 위해.

제안 방법

• 이상치를 포함한 PCA 문제를 낮은 질량의 근사 문제로 재구성하며, $ \|M - L - S\|_F^2 $ 를 최소화한다. 여기서 $ \operatorname{rank}(L) \leq r $ 이고 $ S $ 는 최대 $ k $ 개의 비영행을 가진다.
• 차원 $ d $ 가 상수일 경우 다항 시간 내에 수행되는 알고리즘을 개발한다. 이는 $ n^{\mathcal{O}(d^2)} $ 시간 내에 수행된다.
• 다색 클리크 문제(Multicolored Clique problem)로의 환원을 통해 문제의 복잡도 하한을 증명한다.
• 행렬 섭동과 질량 분석을 포함한 대수적 및 기하학적 추론을 활용하여, 작은 오차를 가진 해가 존재할 경우 다색 클리크 문제의 해를 유도할 수 있음을 보여준다.
• 지수 시간 가설(ETH)을 적용하여, 어떤 함수 $ f $ 에 대해 $ f(d)n^{o(d)} $ 시간 내에 실행되는 알고리즘이 존재하지 않음을 규명한다. 이는 상수 인자 근사화에도 적용된다.
• 문제가 이상치 수 $ k $ 를 매개변수로 하여 $ \operatorname{{\sf W}}[1] $-난이도임을 증명하며, $ \operatorname{{\sf FPT}} = \operatorname{{\sf W}}[1] $ 가 성립하지 않는 한, 어떤 계산 가능한 함수 $ f $ 에 대해 $ f(d)N^{o(d)} $ 시간 내에 $ \omega $-근사 알고리즘이 존재하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 차원 $ d $ 가 작을 경우, 일반적으로 NP-난이도임에도 불구하고 PCA 이상치 문제를 효율적으로 해결할 수 있는가?
• RQ2 차원 $ d $ 를 매개변수로 삼을 때 PCA 이상치 문제의 정확한 매개변수 복잡도는 무엇인가?
• RQ3 차원 $ d $ 에 대해 지수 시간 이하로 실행되는 상수 인자 근사 알고리즘이 존재하는가?
• RQ4 지수 시간 가설을 가정할 경우, 어떤 함수 $ f $ 에 대해 $ f(d)n^{o(d)} $ 시간 내에 문제를 해결할 수 있는가?
• RQ5 PCA 이상치 문제의 복잡도와 다색 클리크 문제 사이의 관계는 무엇인가?

주요 결과

• PCA 이상치 문제는 $ n^{\mathcal{O}(d^2)} $ 시간 내에 해결 가능하며, 이는 차원 $ d $ 를 매개변수로 하여 고정 매개변수 다항 시간 문제임을 의미한다.
• 차원 $ d $ 가 상수일 경우 문제는 다항 시간 내에 해결 가능하므로, 낮은 차원의 이상치가 있는 데이터에 대해 실용적인 해결책을 제공한다.
• 지수 시간 가설 하에, 어떤 함수 $ f $ 에 대해 $ f(d)n^{o(d)} $ 시간 내에 문제를 해결하거나 상수 인자로 근사하는 알고리즘이 존재하지 않음을 보여준다.
• 이상치 수 $ k $ 를 매개변수로 하여 문제는 $ \operatorname{{\sf W}}[1] $-난이도이며, 이는 이 매개변수에 대해 강한 비가역성을 나타낸다.
• 계산 가능한 함수 $ f $ 에 대해 $ f(d)N^{o(d)} $ 시간 내에 $ \omega $-근사 알고리즘이 존재하지 않으며, $ N $ 이 입력 행렬의 비트 크기일 때, $ \operatorname{{\sf FPT}} = \operatorname{{\sf W}}[1] $ 가 성립하지 않는 한 이는 성립하지 않는다.
• 하한 결과는 엄밀하며 상한과 정확히 일치하므로, $ n^{\mathcal{O}(d^2)} $ 알고리즘이 ETH 하에 거의 최적임을 입증한다.