[논문 리뷰] How Hard Is Robust Mean Estimation?

Samuel B. Hopkins, Jerry Li|arXiv (Cornell University)|2019. 03. 19.

Machine Learning and Algorithms참고 문헌 29인용 수 8

한 줄 요약

이 논문은 자연스러운 분포 가정 하에 현재 다항시간 알고리즘의 강건한 평균 추정에 대해 오차율을 향상시키는 것이 복잡도 이론적으로는 계산적으로 비가능하다는 증거를 제공한다. 소집합 확장 가설의 변종으로부터의 감소를 통해, √ε 이하의 오차 한계를 달성하는 것은 소집합 확장 가설을 반증하게 되며, 이는 기존 알고리즘이 많은 설정에서 다항시간 영역 내에서 본질적으로 최적이라는 것을 의미한다.

ABSTRACT

Robust mean estimation is the problem of estimating the mean $μ\in \mathbb{R}^d$ of a $d$-dimensional distribution $D$ from a list of independent samples, an $ε$-fraction of which have been arbitrarily corrupted by a malicious adversary. Recent algorithmic progress has resulted in the first polynomial-time algorithms which achieve \emph{dimension-independent} rates of error: for instance, if $D$ has covariance $I$, in polynomial-time one may find $\hatμ$ with $\|μ- \hatμ\| \leq O(\sqrtε)$. However, error rates achieved by current polynomial-time algorithms, while dimension-independent, are sub-optimal in many natural settings, such as when $D$ is sub-Gaussian, or has bounded $4$-th moments. In this work we give worst-case complexity-theoretic evidence that improving on the error rates of current polynomial-time algorithms for robust mean estimation may be computationally intractable in natural settings. We show that several natural approaches to improving error rates of current polynomial-time robust mean estimation algorithms would imply efficient algorithms for the small-set expansion problem, refuting Raghavendra and Steurer's small-set expansion hypothesis (so long as $P eq NP$). We also give the first direct reduction to the robust mean estimation problem, starting from a plausible but nonstandard variant of the small-set expansion problem.

연구 동기 및 목표

• 현재 다항시간 알고리즘들이 강건한 평균 추정에서 최적의 오차율을 달성하는지 조사하기 위해.
• 서브-가우시안 또는 유한한 네 번째 모멘트 분포 하에서 오차율 향상이 계산적으로 가능할지 판단하기 위해.
• 강건한 평균 추정과 소집합 확장 가설(SSEH) 사이의 관계를 설정하기 위해.
• P ≠ NP를 가정할 때, 더 나은 오차율이 소집합 확장 가설을 반증할 수 있다는 복잡도 이론적 증거를 제공하기 위해.
• SSE에서 강건한 추정 문제로의 감소를 강화하기 위해 새로운 스펙트럼 그래프 이론 도구를 개발하기 위해.

제안 방법

• 스펙트럼 그래프 이론을 사용하여 소집합 확장 문제의 변종을 강건한 평균 추정으로 감소시킨다.
• 소집합 확장자에서의 소집합을 스펙트럼 임bedding 내에서 새로운 방식으로 특성화한다.
• 스펙트럼 방법을 사용하여 2→q 노름의 난이도 증명을 재해석하고 단순화한다.
• 랜덤 워크 라운딩 기법을 활용하여 스펙트럼 임bedding 내에서 평균 이동이 큰 소집합을 식별한다.
• 모멘트 조건과 고유값 경계를 사용하여 벡터 노름과 평균 추정 오차를 연결한다.
• 지역 히저 이iem을 적용하여 확장 성질을 검증하고 오차율의 하한을 유도한다.

실험 결과

연구 질문

• RQ1 서브-가우시안 또는 유한한 네 번째 모멘트 가정 하에서 다항시간 알고리즘이 강건한 평균 추정에서 O(√ε) 이하의 오차율을 달성할 수 있는가?
• RQ2 강건한 평균 추정에서 현재 오차율을 향상시키는 데 있어 계산적 장벽이 존재하는가?
• RQ3 소집합 확장 가설이 강건한 추정 문제에 대해 난이도를 유도하는 정도는 어느 정도인가?
• RQ4 스펙트럼 임bedding을 사용하여 고차원 데이터에서 내성적 저항성 또는 유한한 모멘트를 검증할 수 있는가?
• RQ5 분포 제약 조건 하에서 2→q 노름 난이도와 강건한 평균 추정 간의 관계는 무엇인가?

주요 결과

• 현재 다항시간 강건한 평균 추정기의 오차율을 O(√ε) 이하로 향상시키는 것은 소집합 확장 가설을 반증하게 된다.
• Steinhardt 등이 제시한 내성성 가정 하에서 O(√ε) 이하의 더 나은 오차율을 달성하는 효율적 알고리즘은 강화된 소집합 확장 가설을 반증하게 된다.
• 이 논문은 소집합 확장 문제의 타당한 변종에서 강건한 평균 추정으로의 첫 번째 직접 감소를 제공한다.
• 스펙트럼 임bedding 내에서 소집합을 특성화하는 방법은 2→q 노름 난이도의 단순화되고 일반화된 증명을 가능하게 한다.
• 분석 결과, √ε 이하의 오차율을 달성하기 위해서는 소집합 확장과 동일한 난이도의 문제를 해결해야 하며, 이는 어렵다고 여겨진다.
• 결과적으로, 많은 자연스러운 분포 설정에서 현재의 다항시간 알고리즘은 오차율 측면에서 본질적으로 최적이다.