[논문 리뷰] Sub-Gaussian Mean Estimation in Polynomial Time

Samuel B. Hopkins|arXiv (Cornell University)|2018. 09. 20.

Machine Learning and Algorithms참고 문헌 16인용 수 22

한 줄 요약

이 논문은 유한 평균과 분산 조건만을 가정할 때, 고차원 중앙값의 새로운 정수계획법(정수계획법)을 사용하여, 유한 평균과 분산 조건만으로도 다항시간 알고리즘을 제안한다. 이는 이전 방법들이 더 강한 모멘트 조건을 요구하거나 지수시간 계산을 필요로 했던 한계를 극복하며, 하위가우시안 크기의 신뢰구간을 달성한다.

ABSTRACT

We study polynomial time algorithms for estimating the mean of a heavy-tailed multivariate random vector. We assume only that the random vector $X$ has finite mean and covariance. In this setting, the radius of confidence intervals achieved by the empirical mean are large compared to the case that $X$ is Gaussian or sub-Gaussian. We offer the first polynomial time algorithm to estimate the mean with sub-Gaussian-size confidence intervals under such mild assumptions. Our algorithm is based on a new semidefinite programming relaxation of a high-dimensional median. Previous estimators which assumed only existence of finitely-many moments of $X$ either sacrifice sub-Gaussian performance or are only known to be computable via brute-force search procedures requiring time exponential in the dimension.

연구 동기 및 목표

• 고차원 꼬리가 무거운 분포에서 계산적으로 효율적인 평균 추정 알고리즘을 개발하기 위해.
• 최소한의 가정—유한 평균과 분산—하에 하위가우시안 신뢰구간을 달성하기 위해.
• 기존 추정기들이 브루트포스 검색 또는 강력한 모멘트 조건을 요구하는 등 계산적으로 비가역적인 문제를 해결하기 위해.
• 꼬리가 두꺼운 데이터에서 표본 평균의 성능이 열 劣한 상황에서 실용적인 대안을 제공하기 위해.

제안 방법

• 알고리즘은 고차원 중앙값의 새로운 정수계획법(정수계획법)을 도입하여, 강력한 평균 추정을 수행한다.
• 정수계획법 공식화는 이전 방법에서 사용된 지수시간 탐색 절차를 피하면서도 다항시간 내에 효율적인 계산을 가능하게 한다.
• 이 방법은 고차원에서 중앙값의 기하학적 성질을 활용하여, 약한 모멘트 조건 하에서도 하위가우시안 집중을 달성한다.
• 기본 분포가 꼬리가 두꺼운 경우에도, 그 결과로 생성된 신뢰구간의 반지름이 하위가우시안 분포와 유사하게 스케일링된다.
• 신뢰구간 크기 측면에서 통계적 최적성을 유지하면서도 계산적으로 실행 가능하도록 설계되었다.
• 이 알고리즘은 고차원 모멘트에 대해 강건하며, 하위가우시안 파라미터의 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 유한 평균과 분산 조건만으로도 하위가우시안 크기의 신뢰구간을 달성할 수 있는가?
• RQ2 이 문제에 대해 지수시간 탐색 절차를 피하는 다항시간 알고리즘을 설계할 수 있는가?
• RQ3 고차원에서 중앙값 기반 추정을 어떻게 단순화하여 계산적으로 실행 가능하게 만들 수 있는가?
• RQ4 꼬리가 두꺼운 평균 추정에서 통계적 효율성과 계산 복잡도 사이의 상호 교환 관계는 무엇인가?
• RQ5 정수계획법 공식화가 고차원 중앙값 추정의 강건성을 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 알고리즘은 유한 평균과 분산 조건만을 가정할 때도 하위가우시안 크기의 신뢰구간을 달성하며, 가우시안 추정기의 성능을 재현한다.
• 알고리즘은 다항시간 내에 실행되며, 이는 이전의 중앙값 기반 추정기들이 지수시간 탐색이 필요로 해서 비가역적이었던 문제를 해결한다.
• 정수계획법 정규화는 효율적인 계산을 가능하게 하면서도 중앙값 기반 추정기의 통계적 강건성을 유지한다.
• 꼬리가 두꺼운 분포 하에서 표본 평균보다도 신뢰구간 반지름 측면에서 성능이 뛰어나다.
• 최소한의 모멘트 가정 하에 최적의 하위가우시안 집중을 달성하는 첫 번째 계산적으로 효율적인 추정기이다.
• 이 방법은 고차원 모멘트에 대해 강건하며, 하위가우시안 파라미터의 사전 지식이 필요하지 않다.