[논문 리뷰] Robust subgaussian estimation of a mean vector in nearly linear time

Jules Depersin, Guillaume Lecué|arXiv (Cornell University)|2019. 06. 07.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 무거운 尾와 이상치로 오염된 데이터에 대해 거의 선형 시간 $\tilde{\cal O}(Nd)$ 내에 서브가우시안 속도를 달성하는 강건한 평균 추정 알고리즘을 제안한다. 이는 새로운 방식의 중앙값의 평균 원리와 커버링 준선형계획법의 조합을 통해 달성된다. 이 방법은 알려지지 않은 이상치 수에 자동으로 적응하며, 오염 수준이나 분포 모수에 대한 사전 지식 없이도 최적의 통계적 성능을 달성한다.

ABSTRACT

We construct an algorithm, running in time $ ilde{\mathcal O}(N d + uK d)$, which is robust to outliers and heavy-tailed data and which achieves the subgaussian rate from [Lugosi, Mendelson] \begin{equation}\label{eq:intro_subgaus_rate} \sqrt{\frac{{ m Tr}(Σ)}{N}}+\sqrt{\frac{||Σ||_{op}K}{N}} \end{equation}with probability at least $1-\exp(-c_0K)-\exp(-c_1 u)$ where $Σ$ is the covariance matrix of the informative data, $K\in\{1, \ldots, K\}$ is some parameter (number of block means) and $u>0$ is another parameter of the algorithm. This rate is achieved when $K\geq c_1 |\mathcal O|$ where $|\mathcal O|$ is the number of outliers in the database and under the only assumption that the informative data have a second moment. The algorithm is fully data-dependent and does not use in its construction the proportion of outliers nor the rate above. Its construction combines recently developed tools for Median-of-Means estimators and covering-Semi-definite Programming [Chen, Diakonikolas, Ge] and [Peng, Tangwongsan, Zhang].

연구 동기 및 목표

• 최소한의 두 번째 모멘트 가정 하에 빠르고 데이터에 따라 달라지는 강건한 평균 추정 알고리즘을 개발하는 것.
• 이전의 다항식 시간 방법보다 향상된 거의 선형 시간 내에 무거운 尾 데이터에 대해 서브가우시안 속도를 달성하는 것.
• 알고리즘 설계 시 이상치 수나 오염률에 대한 사전 지식이 필요 없도록 하는 것.
• 중앙값의 평균과 커버링 준선형계획법 기법을 조합하여 통계적 효율성과 계산적 효율성을 동시에 달성하는 것.
• 데이터 기반 선택 기제를 통해 이상치 수에 자동으로 적응하는 것을 보여주는 것.

제안 방법

• 알고리즘은 중앙값의 평균 프레임워크를 기초로 삼아 좌표별 중앙값을 계산하여 강건성을 초기화한다.
• 농도 기반 준선형계획법(SDP) 절차를 적용하여 추정치를 정밀화하며, 방향성 넷에 대한 농도 경계를 활용한다.
• 다중 수준 검색 전략을 사용하여, 데이터의 이진 분해를 기반으로 블록 평균의 다양한 스케일을 반복적으로 테스트한다.
• 단계 크기는 후보 값에 대한 이진 탐색을 통해 적응적으로 선택되며, 각 수준에서 SDP를 사용해 진전 여부를 검증한다.
• 최종 추정치는 정확도와 계산 비용의 균형을 잡는 데이터 기반 정지 기준에 따라 후보 목록에서 선택된다.
• 구성은 완전히 데이터 기반이며, 이상치 비율이나 신뢰 수준과 관련된 튜닝 파rameter가 필요하지 않다.

실험 결과

연구 질문

• RQ1 강건한 평균 추정기로 무거운 尾 데이터에 대해 거의 선형 시간 내에 서브가우시안 속도를 달성할 수 있는가?
• RQ2 오염 수준에 대한 사전 지식 없이도 알고리즘이 알려지지 않은 이상치 수에 자동으로 적응할 수 있는가?
• RQ3 커버링 SDP 기법을 중앙값의 평균과 효과적으로 조합하여 통계적 최적성과 계산적 효율성을 동시에 달성할 수 있는가?
• RQ4 고차원 강건 추정에서 서브가우시안 편차 확률을 달성하기 위한 최소 계산 비용은 얼마인가?
• RQ5 효율 랭크와 이상치 수를 동시에 고려하여 적응하는 강건 추정기를 구성하는 것은 가능한가?

주요 결과

• 제안된 알고리즘은 높은 확률 $1 - \exp(-c_0 K) - \exp(-c_1 u)$ 에서 서브가우시안 속도 $\sqrt{\frac{\operatorname{Tr}(\Sigma)}{N}} + \sqrt{\frac{\|\Sigma\|_{\text{op}} K}{N}}$ 를 달성하며, 이는 이전 연구에서 도출된 최적의 통계적 속도와 일치한다.
• 일반적으로 $u_j = 2^j$ 일 때, 거의 선형 시간 $\tilde{\cal O}(Nd)$ 내에서 실행되며, 샘플 복잡도에 로그 인자가 없이 일정 확률 보장을 달성한다.
• 서브가우시안 편차 확률을 위해, $u_j = \lceil N/2^j \rceil$ 일 때 알고리즘은 $\tilde{\cal O}(N^2 d)$ 시간 내에 실행되며, 모든 $K \geq 600|\mathcal{O}|$ 에 대해 $1 - 4\exp(-K/360000)$ 의 신뢰도를 확보한다.
• 이 추정기는 이상치 수 $|\mathcal{O}|$ 에 대해 입력으로 $|\mathcal{O}|$ 를 요구하지 않고도 자동으로 적응하며, $|\mathcal{O}| = \epsilon N$ 일 때 속도 $\sqrt{\frac{\operatorname{Tr}(\Sigma)}{N}} + \sqrt{\|\Sigma\|_{\text{op}} \epsilon}$ 를 달성한다.
• 샘플 크기 $N \sim \frac{\operatorname{Tr}(\Sigma)}{\|\Sigma\|_{\text{op}} \epsilon}$ 에서 추정 오차가 표본 크기의 영향에서 오염의 영향으로 전이되는 단계 전이 현상이 나타난다.
• 알고리즘은 완전히 데이터 기반이며, 이상치 비율이나 신뢰 수준 $\delta$ 를 알 필요 없어 실생활 응용에 실용적이다.