[논문 리뷰] Robust empirical mean Estimators

Matthieu Lerasle, Roberto I. Oliveira|arXiv (Cornell University)|2011. 12. 16.

Advanced Statistical Methods and Models참고 문헌 32인용 수 52

한 줄 요약

이 논문은 분산이나 체르토프스키 모멘트에 대한 사전 지식이 필요 없이 서브-가우시안 농도를 달성하는 블록별 중앙값-평균 기반의 강건한 경험 평균 추정기의 새로운 방법을 제안한다. 이 방법은 무한한 분산과 무거운 尾를 가진 데이터에서 강건한 추정기 집합 및 선택을 가능하게 하며, 최소한의 모멘트 가정 하에 비정규, 이방향, 혼합 설정으로 최적의 리스크 경계를 일반화한다.

ABSTRACT

We study robust estimators of the mean of a probability measure $P$, called robust empirical mean estimators. This elementary construction is then used to revisit a problem of aggregation and a problem of estimator selection, extending these methods to not necessarily bounded collections of previous estimators. We consider then the problem of robust $M$-estimation. We propose a slightly more complicated construction to handle this problem and, as examples of applications, we apply our general approach to least-squares density estimation, to density estimation with Küllback loss and to a non-Gaussian, unbounded, random design and heteroscedastic regression problem. Finally, we show that our strategy can be used when the data are only assumed to be mixing.

연구 동기 및 목표

• 분산이나 체르토프스키 모멘트에 대한 사전 지식이 없이도 서브-가우시안 농도 경계를 달성하는 강건한 경험 평균 추정기를 개발하는 것.
• 무한한 분산과 무거운 尾를 가진 추정기 집합으로의 강건한 집합 및 추정기 선택 방법을 확장하는 것.
• 비정규, 무한한 분산, 이방향 회귀 및 밀도 추정 문제로의 강건한 M-추정을 일반화하는 것.
• 최소한의 모멘트 가정 하에 제안된 추정기가 최적의 리스크 경계를 로그 인자까지 유지할 수 있도록 보장하는 것.
• 의존적인 관측치를 다룰 수 있도록 블록 기반 분해를 활용하여 프레임워크를 혼합 데이터에 적응시키는 것.

제안 방법

• 독립 identical 분포를 가진 표본을 V ≈ ln(δ⁻¹)개의 균일한 블록으로 나누어 블록별 경험 평균을 계산한다.
• 블록별 경험 평균의 중앙값을 최종 추정기로 구성하여 중앙값-평균 구성 방식으로 무거운 尾에 대한 강건성을 확보한다.
• 농도 부등식과 블록 간의 독립성을 활용하여 보편 상수 C를 가진 고확률적 편차 경계를 유도한다.
• 각 후보 추정기를 블록 통계량으로 간주하여 중앙값-평균 구성 방식을 추정기 선택 및 집합에 적용한다.
• M-추정에서 리스크를 제어하기 위해 마진 유형의 가정을 도입하여 최소 제곱법 및 최대우도 밀도 추정에의 적용 가능성을 확보한다.
• 경험 과정 이론과 추정기의 균일한 상한을 활용하여 결과를 정규 분포 설정을 초월해 확장한다.

실험 결과

연구 질문

• RQ1 분산이나 체르토프스키 모멘트에 대한 사전 지식이 없이도 강건한 경험 평균 추정기를 구성할 수 있는가?
• RQ2 무거운 尾를 가진 데이터 하에서 무한한 추정기 집합으로의 강건한 집합 및 추정기 선택을 어떻게 확장할 수 있는가?
• RQ3 비정규 및 이방향 설정에서 중앙값-평균 접근법이 M-추정에서 최적의 리스크 경계를 달성할 수 있는 조건은 무엇인가?
• RQ4 블록 기반 중앙값-평균 프레임워크는 의존적인 혼합 데이터 스트림에 어떻게 적응시킬 수 있는가?
• RQ5 강건한 경험 평균 추정기는 고차원 또는 복잡한 모델에서 비강건한 대안들과 비교해 효율성을 유지할 수 있는가?

주요 결과

• 제안된 강건한 경험 평균 추정기는 |P{m̂(δ) - m > Cσ√(ln(δ⁻¹)/n)} ≤ δ 를 만족하며, 보편 상수 C를 가진다. 이는 σ나 체르토프스키 모멘트에 대한 사전 지식 없이도 서브-가우시안 농도를 달성한다.
• 블록 기반 중앙값-평균 구성은 중앙값-평균 방식으로 강건성을 확보하며, 기저 분포가 무거운 尾를 가질 경우에도 최적의 편차 경계를 달성한다.
• 이 방법은 최소 제곱 밀도 추정에서 추정기 선택을 실용적이고 강건하게 가능하게 하여 이전 연구를 무한한 사전 집합으로 확장한다.
• M-추정에서, 마진 유형의 가정 하에 로그 인자까지 최적의 리스크 경계를 달성하며, 이는 이방향 오차를 가진 회귀 및 밀도 추정에 적용 가능하다.
• 표본을 독립적인 블록으로 나누어 혼합 데이터에 적용함으로써 프레임워크는 의존적인 설정으로의 모델 선택 절차를 확장할 수 있다.
• 비강건한 대안들처럼 계산의 실용성을 포기하는 대신 강건성을 확보하는 비볼록 방법과 달리, 강건한 추정기는 비강건한 대안들과 유사한 효율성을 유지한다.