[논문 리뷰] Generalized Resilience and Robust Statistics

Banghua Zhu, Jiantao Jiao외 1명|arXiv (Cornell University)|2019. 09. 19.

Advanced Statistical Methods and Models참고 문헌 66인용 수 26

한 줄 요약

이 논문은 총변위(TV) 및 워샤프스키안(W₁) 오염 하에서 강건 통계를 위한 통합 프레임워크로 일반화된 내성성(generalized resilience)을 도입하며, 평균 추정, 선형 회귀, 두 번째 모멘트 추정에 대해 유한 표본 보장을 가능하게 한다. 이는 내성적인 분포에 투영된 최소 거리 기능을 제안하며, 오차가 연속성 모듈러스에 의해 상한으로 제한되며, 일반화된 내성적 클래스에 대해 이 모듈러스를 체계적으로 상한으로 제한함으로써 모멘트 또는 초수축 조건 하에서 정확한 모집단 및 유한 표본 결과를 도출한다.

ABSTRACT

Robust statistics traditionally focuses on outliers, or perturbations in total variation distance. However, a dataset could be corrupted in many other ways, such as systematic measurement errors and missing covariates. We generalize the robust statistics approach to consider perturbations under any Wasserstein distance, and show that robust estimation is possible whenever a distribution's population statistics are robust under a certain family of friendly perturbations. This generalizes a property called resilience previously employed in the special case of mean estimation with outliers. We justify the generalized resilience property by showing that it holds under moment or hypercontractive conditions. Even in the total variation case, these subsume conditions in the literature for mean estimation, regression, and covariance estimation; the resulting analysis simplifies and sometimes improves these known results in both population limit and finite-sample rate. Our robust estimators are based on minimum distance (MD) functionals (Donoho and Liu, 1988), which project onto a set of distributions under a discrepancy related to the perturbation. We present two approaches for designing MD estimators with good finite-sample rates: weakening the discrepancy and expanding the set of distributions. We also present connections to Gao et al. (2019)'s recent analysis of generative adversarial networks for robust estimation.

연구 동기 및 목표

• 기존의 TV 기반 이상치 모델을 초월하여 측정 오차 및 공변수 누락과 같은 체계적 오염을 포함한 강건 통계의 확장을 위해.
• TV 및 W₁ 오염 모델 모두에서 강건 추정이 가능한 것을 보장하는 새로운 성질인 일반화된 내성성을 체계화하기 위해.
• 이러한 일반화된 오염 모델 하에서 주요 통계 추정기(평균, 회귀, 공분산, 두 번째 모멘트)에 대해 유한 표본 오차 상한을 제공하기 위해.
• 최소 거리 기능의 연속성 모듈러스를 체계적으로 상한으로 제한하는 방법을 개발하여 날카운 유한 표본 분석을 가능하게 하기 위해.
• 기존의 강건 평균 추정, 선형 회귀, 모멘트 또는 초수축 조건 하에서의 공동 추정 결과를 통합하고 향상시키기 위해.

제안 방법

• TV 또는 W₁ 오염 하에서 강건 추정이 가능한 분포를 특성화하는 일반화된 내성성 조건을 제안한다.
• 손상된 경험 분포를 잘 행동하는 분포 집합에 투영하는 최소 거리(MD) 기능을 강건 추정기로 도입한다.
• 최소 거리 기능의 오차를 상한으로 제한하기 위해 일반화된 연속성 모듈러스를 사용하며, 내성적 클래스에 대해 이 모듈러스를 체계적으로 상한으로 제한하는 방법을 제공한다.
• TV 오염에 적용하기 위해 고차원 및 복잡한 모델을 다룰 수 있도록 약화된 거리 척도(\widetilde{\mathsf{TV}}_{\mathcal{H}})를 정의한다.
• W₁ 오염에 적용하기 위해 \widetilde{W}_1 투영을 도입하고, 두 번째 모멘트 및 선형 회귀 추정을 위한 내성적 집합을 구성한다.
• 브릿지 함수와 쌍대성 논증을 활용하여 강건 추정을 강건 최적화 및 무지성 분포 학습과 연결한다.

실험 결과

연구 질문

• RQ1 자료가 총변위 또는 워샤프스키안 거리에서 오염되었을 때, 어떤 조건 하에서 강건 추정이 가능할 수 있는가?
• RQ2 일반화된 내성성은 다양한 오염 모델과 통계 모델 간의 강건 추정을 통합하는 조건으로서 기능할 수 있는가?
• RQ3 일반화된 내성성 하에서 평균 추정, 선형 회귀, 두 번째 모멘트 추정에 대해 유한 표본 오차 상한은 어떤 수준에 도달할 수 있는가?
• RQ4 최소 거리 기능의 연속성 모듈러스를 체계적으로 상한으로 제한하여 날카운 유한 표본 보장을 얻을 수 있는가?
• RQ5 W₁ 오염 하에서 강건 선형 회귀에 필요한 및 충분한 조건(예: 모멘트 또는 초수축 조건)은 무엇인가?

주요 결과

• TV 오염에 대해, 유한 표본 상한이 제한된 k차 모멘트를 가진 평균 추정, 선형 회귀, 공동 평균 및 공분산 추정에 대해 향상된 결과를 도출한다.
• W₁ 오염에 대해, 모멘트 또는 초수축 조건 하에서 두 번째 모멘트 추정 및 선형 회귀에 대해 처음으로 유한 표본 보장을 제공한다.
• 일반화된 내성성 조건은 모멘트 또는 초수축 조건 하에서 성립함이 입증되었으며, 고차원 설정에서의 강건 추정 가능성을 보장한다.
• 최소 거리 기능의 연속성 모듈러스는 체계적인 방법으로 상한으로 제한되었으며, 날카운 모집단 수준 결과와 강력한 유한 표본 성능을 도출한다.
• 일반화된 내성성 조건 하에서 제안된 MD 기능은 여러 경우에서 알려진 최소 최대 하한값에 도달하는 오차율을 달성한다.
• 이 프레임워크는 W₁ 기반 선형 회귀에서 회귀 계수 벡터의 유계성은 필수이며, 초수축 유형 조건은 강건성에 충분함을 드러낸다.