[논문 리뷰] Faster Algorithms for High-Dimensional Robust Covariance Estimation

Yu Cheng, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2019. 06. 11.

Advanced Statistical Methods and Models참고 문헌 38인용 수 14

한 줄 요약

이 논문은 적대적 오염에 노출된 고차원 정규분포에 대해 처음으로 강건한 공분산 추정 알고리즘을 제안하며, 거의 최적의 시간 복잡도 $\tilde{O}(d^{3.26})/\text{poly}(\theta)$ 에서 작동하여, 표본 공분산을 계산하는 데 소요되는 시간과 유사하다. 기존 방법이 $\tilde{\Omega}(d^{2\theta})$ 시간이 필요로 했던 데 비해, 존슨-린든스트라우스 투영과 스펙트럼 필터링을 활용한 새로운 반복 재가중 프레임워크를 통해 성능을 향상시켰다.

ABSTRACT

We study the problem of estimating the covariance matrix of a high-dimensional distribution when a small constant fraction of the samples can be arbitrarily corrupted. Recent work gave the first polynomial time algorithms for this problem with near-optimal error guarantees for several natural structured distributions. Our main contribution is to develop faster algorithms for this problem whose running time nearly matches that of computing the empirical covariance. Given $N = ildeΩ(d^2/ε^2)$ samples from a $d$-dimensional Gaussian distribution, an $ε$-fraction of which may be arbitrarily corrupted, our algorithm runs in time $ ilde{O}(d^{3.26})/\mathrm{poly}(ε)$ and approximates the unknown covariance matrix to optimal error up to a logarithmic factor. Previous robust algorithms with comparable error guarantees all have runtimes $ ildeΩ(d^{2 ω})$ when $ε= Ω(1)$, where $ω$ is the exponent of matrix multiplication. We also provide evidence that improving the running time of our algorithm may require new algorithmic techniques.

연구 동기 및 목표

• 최대 일정 비율의 표본이 임의로 오염된 경우에도 계산적으로 효율적인 고차원 정규분포를 위한 강건한 공분산 추정기 설계.
• 강건 추정기의 런타임과 비강건 대응체(예: 표본 공분산)의 런타임 간 격차를 좁히기 — 표본 공분산은 $O(d^3)$ 시간에 작동함.
• 고차원에서의 하위 세제곱 런타임을 유지하면서 프로베니우스 노름 오차에 대해 거의 최적의 보장을 달성하기.
• 더 빠른 속도 향상이 가능할지 탐색하며, 향후 향상에 새로운 알고리즘 기법이 필요할 수 있음을 제시함.

제안 방법

• 낮은 차원 부분공간 내에서 표본의 기하적 성질에 기반해 가중치를 할당하는 새로운 반복 재가중 프레임워크 제안.
• 데이터를 낮은 차원 공간으로 압축하기 위해 존슨-린든스트라우스 투영을 사용하여 공분산의 구조를 효율적으로 근사.
• 주된 부분공간 내에서 투영된 벡터의 노름을 분석하여 오염된 표본을 식별하고 가중치를 낮추기 위해 스펙트럼 필터링을 적용.
• 부분공간 추정과 가중치 개선을 번갈아 수행하는 재귀 알고리즘을 적용하여 진짜 공분산 행렬의 강건한 추정치로 수렴.
• 카이제곱 분포의 농도 경계를 활용하여 부분공간 내에서 투영된 노름에 기반해 양호한 표본과 나쁜 표본을 구분.
• 마르코프 부등식을 사용해 오염된 표본에 할당된 총 가중치를 제한하여, 최종 추정기가 진짜 공분산에 가까워지도록 보장.

실험 결과

연구 질문

• RQ1 표본 공분산의 $O(d^3)$ 복잡도와 거의 동일한 시간 복잡도로 작동하는 고차원 정규분포에 대한 강건한 공분산 추정기 설계가 가능한가?
• RQ2 고차원에서 하위 세제곱 런타임을 유지하면서 프로베니우스 노름 오차에 대해 거의 최적의 보장을 달성할 수 있는가?
• RQ3 현재 $\tilde{O}(d^{3.26})$ 런타임 한계를 넘어선 강건한 공분산 추정의 런타임 향상에 있어 알고리즘적 장벽은 무엇인가?
• RQ4 랜덤 투영과 반복 재가중을 활용하면 적대적 오염 하에서 더 빠른 수렴을 이룰 수 있는가?

주요 결과

• 제안된 알고리즘은 $\tilde{O}(d^{3.26})/\text{poly}(\theta)$ 시간에 작동하며, 이는 거의 최적의 성능이며 표본 공분산 계산의 최고 성능 상한과 일치한다.
• 알고리즘은 로그 인자까지 최적의 오차를 달성하며, $N = \tilde{\Omega}(d^2/\theta^2)$ 개의 표본에 대해 프로베니우스 노름 오차가 $O(\theta + d/\text{poly}(N)) \times \|\theta\|_2$ 이다.
• 기존의 강건 알고리즘은 $\theta = \tilde{\Omega}(1)$ 일 때 $\tilde{\Omega}(d^{2\theta})$ 시간이 필요로 했지만, 본 방법은 이에 비해 크게 향상되었다.
• 더 빠른 런타임 향상은 새로운 알고리즘 기법의 도입이 필수적일 수 있음을 제시하며, 잠재적인 복잡도 장벽을 시사한다.
• 이론적 분석을 통해 표본에 가중치를 할당하는 모든 알고리즘은 그들의 투영된 노름에 기반해 양호한 표본과 나쁜 표본을 구분하는 데 어려운 문제를 해결해야 한다고 밝혔다.