[논문 리뷰] Recent Advances in Algorithmic High-Dimensional Robust Statistics

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|2019. 11. 14.

Advanced Statistical Methods and Models참고 문헌 55인용 수 91

한 줄 요약

이 설문조사는 강력한 오염 하에서의 로버스트 고차원 통계의 핵심 아이디어와 알고리즘 기법을 검토하며, 강력한 평균 추정하에서의 안정성 조건과 두 가지 주요 알고리즘 접근법(볼록 프로그래밍 및 반복적 이상치 제거)에 초점을 맞춘다.

ABSTRACT

Learning in the presence of outliers is a fundamental problem in statistics. Until recently, all known efficient unsupervised learning algorithms were very sensitive to outliers in high dimensions. In particular, even for the task of robust mean estimation under natural distributional assumptions, no efficient algorithm was known. Recent work in theoretical computer science gave the first efficient robust estimators for a number of fundamental statistical tasks, including mean and covariance estimation. Since then, there has been a flurry of research activity on algorithmic high-dimensional robust estimation in a range of settings. In this survey article, we introduce the core ideas and algorithmic techniques in the emerging area of algorithmic high-dimensional robust statistics with a focus on robust mean estimation. We also provide an overview of the approaches that have led to computationally efficient robust estimators for a range of broader statistical tasks and discuss new directions and opportunities for future work.

연구 동기 및 목표

• 아웃라이어가 존재하고 고차원 설정에서 경험적 평균이 실패하는 상황에 대한 학습 동기를 제시한다.
• 강력한 오염 모델과 로버스트 추정의 정보 이론적 한계를 제시한다.
• 강력한 평균 추정을 위한 핵심 알고리즘 기법을 소개한다(안정성, 볼록 프로그램, 반복적 프닝).
• 프로젝션을 통해 고차원 문제를 1차원 로버스트 평균 추정으로 환원하는 방법을 보인다.

제안 방법

• 모든 큰 부분집합과 모든 방향에 대해 성립해야 하는 안정성 조건(epsilon, delta)을 도입한다.
• 샘플 공분산 행렬의 최상위 고유벡터를 사용하여 이상치가 비정상적으로 작동하는 방향을 탐지한다.
• 안정성을 활용해 평균을 회복하는 볼록 프로그래밍 기반 추정기를 개발한다.
• 안정성 가정하에 작동하는 반복적 이상치 제거 기법을 개발한다.
• 프로젝션을 통해 고차원 로버스트 평균 추정을 일련의 1차원 로버스트 추정 문제로 환원한다.
• 프로젝션에서 일변량 로버스트 추정기(중앙값, 트리밍된 평균)를 적용하여 고차원 추정기를 구성한다.

실험 결과

연구 질문

• RQ1 강력한 오염 하에서 차원에 독립적인 에러 추정기를 어떻게 설계할 수 있는가?
• RQ2 오염 하에서 고차원에서의 로버스트 평균 추정에 대한 정보 이론적 한계는 무엇인가?
• RQ3 프로젝션을 통해 고차원 로버스트 추정을 1차원 문제로 감소시킬 수 있는가?
• RQ4 안정적이고 다항식 시간 내에 보장되는 추정기가 어떤 분포 가정 하에서 정확한 평균 추정을 보장하는가?

주요 결과

• 고차원 평균 추정에서 오염 하에 차원 독립적 오차를 갖는 최초의 다항식 시간 로버스트 추정기가 개발되었다(초기 연구 인용).
• 안정성 조건이 충족되면 경험적 평균이 정량적 인증서(Lemma 2.4)를 통해 진짜 평균에 근접하다고 인증될 수 있다.
• 공모자적(conspiratorial) 이상치를 탐지하기 위해 오염된 데이터의 공분산의 최상위 고유벡터를 검사하여 이상치 제거를 안내한다.
• 두 가지 관련 알고리즘 접근: (i) 볼록 프로그래밍 기반 추정기, (ii) 반복적 이상치 제거 기법이 제시된다.
• 프로젝션에서 1차원 로버스트 추정으로 환원하여 고차원 로버스트 평균 추정을 달성할 수 있으며, 가우시안 유사 꼬리의 경우 중앙값이 충분하고, 공분산이 한정된 경우 트리밍된 평균이 근사 최적의 오차 경계를 제공한다.