[논문 리뷰] Being Robust (in High Dimensions) Can Be Practical

Ilias Diakonikolas, Gautam Kamath외 4명|arXiv (Cornell University)|2017. 03. 02.

Statistical Methods and Inference참고 문헌 26인용 수 72

한 줄 요약

논문은 필터링 접근법으로 고차원 평균 및 공분산을 강건하게 추정하기 위한 샘플에 근접한 최적에 가까운 실용 알고리즘들을 제시하며, 강력한 실험적 성능을 보인다.

ABSTRACT

Robust estimation is much more challenging in high dimensions than it is in one dimension: Most techniques either lead to intractable optimization problems or estimators that can tolerate only a tiny fraction of errors. Recent work in theoretical computer science has shown that, in appropriate distributional models, it is possible to robustly estimate the mean and covariance with polynomial time algorithms that can tolerate a constant fraction of corruptions, independent of the dimension. However, the sample and time complexity of these algorithms is prohibitively large for high-dimensional applications. In this work, we address both of these issues by establishing sample complexity bounds that are optimal, up to logarithmic factors, as well as giving various refinements that allow the algorithms to tolerate a much larger fraction of corruptions. Finally, we show on both synthetic and real data that our algorithms have state-of-the-art performance and suddenly make high-dimensional robust estimation a realistic possibility.

연구 동기 및 목표

• 고차원에서의 강건 통계의 필요성과 실용성을 저해하는 계산 한계를 제시한다.
• 강건 mean 및 covariance 추정에 대한 거의 최적의 샘플 복잡도 경계치를 제공한다.
• 상수 비율의 적대적 오염도까지 허용하는 실용적인 필터링 기반 알고리즘을 개발한다.
• 서브가우시안(sub-Gaussian) 및 유한 모멘트 분포에까지 확장 가능한 강건성 보장을 보인다.

제안 방법

• 스펙트럴 특성에 기반한 경험적 공분산에서 이상치를 점진적으로 제거하는 필터링 프레임워크를 사용한다.
• 상위 고유벡터를 따라 일변량 꼬리 검정을 적용해 손상된 점들을 식별하고 제거한다.
• 나쁜 점과 좋은 점의 제거를 균형 있게 달성하기 위해 적응형 꼬리 경계를 통해 임계값을 최적화한다.
• 4차 모멘트 등 고차 모먼트를 모니터링하여 강건한 공분산 추정으로 필터를 확장한다.
• 경험적 평균 대신 강건한 일변량 평균(예: 중앙값)을 이용해 중심화하여 실용적 성능을 향상한다.

실험 결과

연구 질문

• RQ1 필터링 기반 강건 추정기가 고차원에서 거의 최적의 샘플 복잡도에 도달할 수 있는가?
• RQ2 평균 및 공분산 추정에서 강건성을 해치지 않으면서 적대적 오염의 허용 비율은 얼마나 큰가?
• RQ3 제안된 알고리즘이 유한 모멘트 또는 서브가우시안성과 같은 더 약한 분포 가정에서 여전히 효과적인가?
• RQ4 고차원에서 실험 성능을 개선하는 실용적 튜닝 전략(예: 적응형 꼬리)이 무엇인가?

주요 결과

• 평균 추정 알고리즘은 서브가우시안 가정하에서 알려진 공분산에 대해 또는 알려지지 않은 공분산에 대해 거의 최적의 샘플 복잡도와 함께 작동한다.
• 두 번째 모멘트가 유한한 경우, 평균 추정기는 더 적은 샘플로 거의 최적의 오차 경계를 달성한다.
• 공분산 추정기는 선형 변환 불변 마할라노비스 거리의 오류 경계에서 적대적 오염에 대한 허용치를 가진다.
• 적응형 꼬리 경계 및 실험적 튜닝은 실용적 성능과 차원 확장성을 크게 향상시킨다.
• 실험 결과는 합성 데이터와 실데이터에서 최첨단 성능을 보여주며 비가우시안 설정으로의 강건성도 확장된다.