[논문 리뷰] Distribution-robust mean estimation via smoothed random perturbations

Matthew J. Holland|arXiv (Cornell University)|2019. 06. 25.

Statistical Methods and Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 유한 분산 조건 하에서만 가정하고도 폐쇄형 계산이 가능하고, 서브-가우시안 유사 분산 경계를 갖는 새로운 분포로 부터의 평균 추정기의 클래스를 제안한다. 이는 부드럽게 스무스된 무작위 교란(가산적 또는 곱셈적)을 부드럽게 잘라낸 경험 평균에 적용함으로써 달성된다. 주요 기여는 다양한 분포에서 거의 서브-가우시안 성능을 달성하는 추정기의 설계이며, 이는 두 번째 모멘트로 제어되는 지수 꼬리 경계를 갖는다.

ABSTRACT

We consider the problem of mean estimation assuming only finite variance. We study a new class of mean estimators constructed by integrating over random noise applied to a soft-truncated empirical mean estimator. For appropriate choices of noise, we show that this can be computed in closed form, and utilizing relative entropy inequalities, these estimators enjoy deviations with exponential tails controlled by the second moment of the underlying distribution. We consider both additive and multiplicative noise, and several noise distribution families in our analysis. Furthermore, we empirically investigate the sensitivity to the mean-standard deviation ratio for numerous concrete manifestations of the estimator class of interest. Our main take-away is that an inexpensive new estimator can achieve nearly sub-Gaussian performance for a wide variety of data distributions.

연구 동기 및 목표

• 유한 분산 조건 하에서만 가정하고도 강력한 분산 보장을 유지하는 평균 추정기를 개발하는 것.
• 부드럽게 잘라낸 경험 평균에 무작위 노이즈를 통합함으로써 추정기의 클래스를 구성하고, 이로 인해 폐쇄형 계산이 가능하도록 하는 것.
• 이러한 추정기가 무거운 꼬리 분포를 포함한 분포에서도 서브-가우시안 추정기와 유사한 지수 꼬리 경계를 달성할 수 있음을 보여주는 것.
• 유한 표본 설정에서 평균-표준편차 비율과 표본 크기에 대한 추정기의 민감도를 평가하는 것.

제안 방법

• 추정기는 부드럽게 잘라낸 경험 평균에 대해 스무스된 노이즈 분포에 대한 기대값으로 정의되며, 특정 노이즈 가족에 대해서는 폐쇄형 계산이 가능하다.
• 상대 엔트로피 부등식을 사용하여 분산 경계를 유도하며, 이는 추정기의 꼬리 행동과 기저 분포의 두 번째 모멘트 사이의 연결을 제공한다.
• 가산적 및 곱셈적 노이즈 모델을 별도로 분석하였으며, 정규분포, 베르누이분포, 웨이부ll분포 및 스튜던트-t 분포에 대해 폐쇄형 표현식을 유도하였다.
• 디아이감마 함수와 감마 분포의 성질을 사용하여 이론적 경계를 유도하였으며, 특히 스튜던트-t 노이즈에 대해 집중적으로 다뤘다.
• 로그 변환된 카이제곱분포 및 감마분포 변수는 디아이감마 함수 Ψ를 포함하는 다루기 쉬운 기대값을 유도할 수 있다는 사실을 활용하였다.
• 스케일링 파라미터 s에 대해 상대 엔트로피 상한을 최적화함으로써, 양방향 및 단방향 꼬리 확률 모두에 대해 날카운 분산 경계를 도출하였다.

실험 결과

연구 질문

• RQ1 유한 분산 조건 하에서만 가정하고도 서브-가우시안 유사 분산 경계를 달성하는 평균 추정기를 구성할 수 있는가? 이는 서브-가우시안 또는 경량 꼬리 분포를 가정하지 않는 조건에서 가능할까?
• RQ2 다양한 노이즈 분포(가산적 또는 곱셈적)가 추정기의 성능과 로버스트함에 어떤 영향을 미치는가?
• RQ3 다양한 기저 분포에서 유한 표본 설정에서 평균-표준편차 비율에 대한 추정기의 민감도는 어떠한가?
• RQ4 제안된 추정기는 중앙극한정리의 가정을 만족하지 않는 무거운 꼬리 및 비대칭 분포를 포함한 다양한 데이터 생성 메커니즘에서도 거의 서브-가우시안 성능을 달성할 수 있는가?
• RQ5 노이즈 분포의 선택(예: 정규분포, 스튜던트-t, 베르누이분포)이 분산 경계의 날카움과 추정기의 유한 표본 행동에 어떤 영향을 미치는가?

주요 결과

• 제안된 추정기는 기저 분포의 두 번째 모멘트로 제어되는 지수 꼬리 경계를 갖는 이중 꼬리 분산 경계를 달성한다. 이는 유한 분산 조건만을 가정할 경우에도 성립한다.
• 자유도가 $ q $ 인 스튜던트-t 노이즈의 경우 상대 엔트로피 상한은 $ \frac{(q+1)}{2}\left(\log\left(1+\frac{\alpha^{2}}{q}\right)+\frac{4|\alpha|\Gamma((q+1)/2)}{\sqrt{q\pi}\Gamma(q/2)(q-1)}\right) $ 로 유도되며, 이는 날카운 분산 제어를 가능하게 한다.
• 실험적으로 검증된 lin 대로, 추정기는 중앙극한정리의 가정을 만족하지 않는 무거운 꼬리 및 비대칭 분포를 포함한 다양한 분포에서 거의 서브-가우시안 성능을 달성한다.
• 분산 경계는 평균-표준편차 비율에 대해 안정적이며, 다양한 비대칭도와 첨도 수준에서도 성능이 안정적이다.
• 정규분포, 베르누이분포, 웨이부ll분포 및 스튜던트-t 분포를 포함한 여러 노이즈 가족에 대해 폐쇄형 계산이 가능하여 실용적 구현이 가능하다.
• 실험 결과는 추정기가 비정규성 조건 하에서도 강력한 유한 표본 성능을 유지하며, 분산 분포가 서브-가우시안 행동과 매우 유사하게 유지됨을 보여준다.