[논문 리뷰] A Unified Approach to Robust Mean Estimation

Adarsh Prasad, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2019. 07. 01.

Control Systems and Identification참고 문헌 37인용 수 16

한 줄 요약

이 논문은 Huber의 $\epsilon$-contamination 모델과 헤비테일 모델 간의 이론적 연결을 확립하여, 둘 다에서 거의 최적의 통계적 성능을 동시에 달성할 수 있는 단일이고 계산적으로 효율적인 추정기의 통합을 제안한다. 제안된 방법은 표본 정제와 사영 기반 간격 추정을 사용하며, 최소한의 모멘트 가정 하에 고확률적으로 서브-가우시안 오차 경계를 도출한다.

ABSTRACT

In this paper, we develop connections between two seemingly disparate, but central, models in robust statistics: Huber's epsilon-contamination model and the heavy-tailed noise model. We provide conditions under which this connection provides near-statistically-optimal estimators. Building on this connection, we provide a simple variant of recent computationally-efficient algorithms for mean estimation in Huber's model, which given our connection entails that the same efficient sample-pruning based estimators is simultaneously robust to heavy-tailed noise and Huber contamination. Furthermore, we complement our efficient algorithms with statistically-optimal albeit computationally intractable estimators, which are simultaneously optimally robust in both models. We study the empirical performance of our proposed estimators on synthetic datasets, and find that our methods convincingly outperform a variety of practical baselines.

연구 동기 및 목표

• Huber의 $\epsilon$-contamination 모델과 헤비테일 분포라는 두 핵심 강건 통계 모델 간의 이론적·실용적 격차를 메우기 위해.
• 두 모델 모두에서 최적의 통계적 속도를 동시에 달성하는 계산적으로 효율적인 추정기를 개발하기 위해.
• 계산적으로 비가능한 최적의 추정기들을 실용적인 대안으로 대체하면서도 강력한 이론적 보장을 유지하기 위해.
• 합성 데이터에서 기존 기준선과의 비교를 통해 제안된 방법의 실증적 타당성을 검증하기 위해, 악성 오염 및 헤비테일 환경 모두에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 제안된 방법은 $\epsilon$-contamination 모델과 헤비테일 모델 간의 이론적 연결을 수립하여, 특정 조건 하에 한쪽에 강건한 추정기가 다른 쪽에도 강건함을 보여준다.
• 사영을 통한 단일 차원 추정기 기반의 표본 정제 기반 추정기를 도입한다.
• 단위 구면의 넷 커버리지(cover)를 사용하여 $\ell_2$ 오차를 제어하고, 넷 요소들에 대한 유니온 바운드를 통해 고확률 보장을 확보한다.
• 핵심 요소로는 오염 상황에서 외곽치의 영향을 통제하기 위한 조건부 분산 경계를 사용한다.
• $\ell_2$ 오차의 변분 공식을 적용하여 다변량 추정 문제를 일련의 일변량 강건 추정 문제로 환원한다.
• 기하 평균-중심 아이디어와 정교한 간격 추정기를 조합하여, 유한 분산 가정 하에 서브-가우시안 오차율을 달성한다.

실험 결과

연구 질문

• RQ1 단일 추정기가 Huber의 $\epsilon$-contamination 모델과 헤비테일 모델 양쪽 모두에서 거의 최적의 통계적 성능을 달성할 수 있는가?
• RQ2 $\epsilon$-contamination 모델과 헤비테일 모델 간의 연결을 통해 최적의 추정기를 도출할 수 있는 조건은 무엇인가?
• RQ3 유한 분산 가정 하에 서브-가우시안 오차 경계를 확보할 수 있는 계산적으로 효율적인 알고리즘은 어떻게 설계할 수 있는가?
• RQ4 실용적인 표본 정제 기반 추정기가 악성 오염 및 헤비테일 환경 모두에서 기존 기준선을 능가할 수 있는가?
• RQ5 강건한 평균 추정에서 계산 효율성과 통계적 최적성 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 추정기는 고확률적으로 서브-가우시안 스타일 오차 경계 $\sqrt{\frac{\text{trace}(\Sigma)\log(1/\delta)}{n}}$ 를 달성하며, 서브-가우시안 가정 하에 최적 속도와 일치한다.
• 이론적 분석을 통해 계산적으로 비가능한 최적 추정기의 효율적인 대안을 제공하며, 두 모델 모두에서 거의 최적의 성능을 달성한다.
• 합성 데이터에 대한 실증 평가에서 제안된 추정기는 헤비테일 및 오염 환경 모두에서 실용적 기준선을 일관되게 능가한다.
• 이론적 분석을 통해 투영 방향에 대해 오차가 $O\left(\sigma_u \max(2\epsilon, \frac{\log(1/\tilde{\delta})}{n})^{1-1/(2k)}\right)$ 이하로 제한됨을 보이며, 넷 커버리지에 의한 고확률 제어를 확보한다.
• 유한 분산 가정 조건 하에서도 최적의 속도를 달성하여, 서브-가우시안 경계의 적용 범위를 서브-가우시안 분포를 초월해 확장한다.
• 두 모델 간의 연결을 통해 단일 알고리즘이 헤비테일 노이즈와 악성 오염 양쪽에 모두 강건한 통합 프레임워크를 가능하게 한다.