[논문 리뷰] Covariance Estimation: Optimal Dimension-free Guarantees for Adversarial Corruption and Heavy Tails

Pedro Pugliesi Abdalla, Nikita Zhivotovskiy|arXiv (Cornell University)|2022. 05. 17.

Random Matrices and Applications인용 수 4

한 줄 요약

이 논문은 공격적인 오염과 무거운 尾를 가진 분포에서, 오직 네 개의 모멘트만으로도 연산자 노름에서 최적의 차원에 의존하지 않는 수렴 속도를 달성하는 강건한 공분산 추정기의 제안한다. 약간의 노름 등가 조건 하에서 정규분포 성능을 따라하는 서브-가우시안 尾 확률 경계를 제공하며, 이상치에 강건하고 차원이 아닌 유효 질량 차수에 따라 스케일링된다.

ABSTRACT

We provide an estimator of the covariance matrix that achieves the optimal rate of convergence (up to constant factors) in the operator norm under two standard notions of data contamination: We allow the adversary to corrupt an $η$-fraction of the sample arbitrarily, while the distribution of the remaining data points only satisfies that the $L_{p}$-marginal moment with some $p \ge 4$ is equivalent to the corresponding $L_2$-marginal moment. Despite requiring the existence of only a few moments, our estimator achieves the same tail estimates as if the underlying distribution were Gaussian. As a part of our analysis, we prove a dimension-free Bai-Yin type theorem in the regime $p > 4$.

연구 동기 및 목표

• 최대 η 비율의 표본이 임의로 오염된 상황에서 공격적인 오염에 강건한 공분산 추정기를 개발하는 것.
• 오직 네 개의 모멘트만으로도 로그 인자 없이 연산자 노름에서 최적의 수렴 속도를 달성하는 것.
• 환경 차원 d 가 아닌 유효 질량 차수 r(Σ)에 따라 스케일링되는 차원에 의존하지 않는 보장을 확보하는 것.
• 약한 노름 등가 조건(Lp–L2) 하에서 고확률 경계를 제공하여 정규분포의 경우와 동일한 성능을 달성하는 것.
• 이상치와 무거운 尾 행동에 대한 강건성과 최적의 통계적 수렴 속도를 결합하며, 로그 인자나 강력한 분포 가정 없이도 성능을 달성하는 것.

제안 방법

• 서브지수 및 무거운 尾 분포에 적합한 강건한 평균 추정 기법을 결합한 메디안-오브-미언스 접근을 통해 추정기를 구성한다.
• p > 4 인 경우에 대해 비점근적이고 차원에 의존하지 않는 Bai–Yin 유형 정리(비점근적, 차원에 의존하지 않는)를 활용하여, 로그 인자 없이도 연산자 노름 수렴을 확립한다.
• 이상치를 다루기 위해 분위수 기반 커파이팅 메커니즘을 사용하여, η-오염 하에서도 안정성을 확보한다.
• 제곱 내적의 평균 추정 문제로 공분산 추정 문제를 환원하고, 서브지수 영역에서 강건한 메디안-오브-미언스 추정을 적용한다.
• 분석은 다음의 노름 등가 조건에 기반한다: 2 ≤ q ≤ p 및 p ≥ 4 인 경우에 대해 (E|⟨X,v⟩|^q)^{1/q} ≤ κ(q)(E|⟨X,v⟩|^2)^{1/2}이다.
• 신뢰수준 δ 및 오염 수준 η에 따라 추정기를 조정하여, 정규분포 성능을 따라하는 고확률 경계를 달성한다.

실험 결과

연구 질문

• RQ1 오직 네 개의 모멘트만으로도 공격적인 오염 하에서 최적의 연산자 노름 수렴 속도를 달성할 수 있는가?
• RQ2 이러한 추정기는 환경 차원 d 가 아닌 유효 질량 차수 r(Σ)에 따라 스케일링되는 차원에 의존하지 않는 보장을 제공할 수 있는가?
• RQ3 정규분포나 로그-볼록 분포를 가정하지 않고도 약한 Lp–L2 노름 등가 조건 하에서 서브-가우시안 尾 경계를 달성할 수 있는가?
• RQ4 서브-가우시안 영역에서 오염 수준 η에 대한 η log(1/η) 의존성은 최적인가?
• RQ5 클래식한 점근적 결과와 동일한 성능을 달성하기 위해 로그 인자를 포함하지 않고도 추정기를 구성할 수 있는가?

주요 결과

• 제안된 추정기는 오직 p ≥ 4 모멘트만으로도 연산자 노름에서 최적의 수렴 속도 √(r(Σ)/N)를 달성하며, 고전적인 Bai–Yin 결과와 일치한다.
• 수렴 속도는 차원에 의존하지 않으며, 오직 유효 질량 차수 r(Σ)에 따라 결정되며, 환경 차원 d 와는 무관하다.
• 약한 Lp–L2 노름 등가 조건 하에서 서브-가우시안 尾 경계를 제공하며, 이는 정규분포 가정 하에서 표본 공분산의 성능을 그대로 따라한다.
• 오염 수준 η에 대해 최적의 의존성을 확보하여, 서브-가우시안 케이스에서 엄밀한 η log(1/η) 항을 확보함으로써 경계의 날카로움을 확인한다.
• p > 4 인 경우에 대해 비점근적이고 차원에 의존하지 않는 Bai–Yin 유형 정리를 확립하여, 고전적 결과를 오염 및 무거운 尾 설정으로 확장한다.
• 추정기는 공격적인 오염에 강건하다: ηN 개의 오염된 점이 존재하더라도, N ≥ c(p)(r(Σ) + log(1/δ)) 를 만족할 경우 고확률적으로 오차가 유한하게 유지된다.