[논문 리뷰] High confidence estimates of the mean of heavy-tailed real random variables

Olivier Catoni|ArXiv.org|2009. 09. 29.

Statistical Methods and Inference참고 문헌 5인용 수 5

한 줄 요약

이 논문은 첨도가 높은 분포의 평균을 위한 PAC-Bayesian 반복적 절단 추정기법을 제안하며, 游립적(confidence interval)의 너비가 최소화된 최적 수준에 가까운 비점근적 신뢰구간을 달성한다. 이는 가우시안 표본 평균의 편차 경계와 일치한다. 이 방법은 유한 분산 또는 첨도가 유한한 조건에서도 높은 신뢰도의 추정을 보장하며, 최악의 첨도가 높은 상황에서 표본 평균보다 뛰어난 성능을 보인다.

ABSTRACT

We present new estimators of the mean of a real valued random variable, based on PAC-Bayesian iterative truncation. We analyze the non-asymptotic minimax properties of the deviations of estimators for distributions having either a bounded variance or a bounded kurtosis. It turns out that these minimax deviations are of the same order as the deviations of the empirical mean estimator of a Gaussian distribution. Nevertheless, the empirical mean itself performs poorly at high confidence levels for the worst distribution with a given variance or kurtosis (which turns out to be heavy tailed). To obtain (nearly) minimax deviations in these broad class of distributions, it is necessary to use some more robust estimator, and we describe an iterated truncation scheme whose deviations are close to minimax. In order to calibrate the truncation and obtain explicit confidence intervals, it is necessary to dispose of a prior bound either on the variance or the kurtosis. When a prior bound on the kurtosis is available, we obtain as a by-product a new variance estimator with good large deviation properties. When no prior bound is available, it is still possible to use Lepski's approach to adapt to the unknown variance, although it is no more possible to obtain observable confidence intervals.

연구 동기 및 목표

• 실수값을 가지는 랜덤 변수의 첨도가 높은 분포의 평균에 대해 비점근적 신뢰구간을 개발하는 것.
• 특히 다수의 비교가 수반되는 모델 선택과 같은 상황에서, 매우 작은 ε에 대해 1−ε 수준의 높은 신뢰도를 확보하는 것.
• 분산 또는 첨도가 유한한 분포의 클래스에서 거의 최소화된 최적 수준의 편차 경계를 가지는 추정기법을 설계하는 것.
• 분산 또는 첨도에 대한 사전 경계를 활용하여 관측 가능한 신뢰구간을 구성하고, 이를 통해 새로운 강력한 분산 추정기법을 유도하는 것.
• 최악의 첨도가 높은 분포 하에서 표본 평균이 높은 신뢰도 수준에서 실패함을 보여주며, 이는 강력한 대체 방법이 필요함을 시사한다.

제안 방법

• 극단적인 값의 영향을 제한하기 위해 조각별 선형이고 유한한 손실 함수 $ L(x) $ 를 기반으로 한 절단 평균 추정기법을 제안하며, $ L_{-}(x) riangleq -L_{+}(-x) $ 로 정의된다.
• PAC-Bayesian 프레임워크를 활용하여 추정기의 진짜 평균에서의 편차에 대한 지수적 모멘트 경계를 도출함으로써 날카운 꼬리 제어를 보장한다.
• 조절된 절단 파라미터 $ heta_0 $ 를 사용하여 추정기를 반복적으로 갱신하는 반복적 절단 기법을 도입함으로써 강건성을 향상시킨다.
• 조절된 파라미터 $ heta_0 $ 와 조정 파라미터 $ eta $ 를 사용하며, $ eta = rac{1}{ heta_0} $ 로 정의되어 절단 수준을 제어하고, 신뢰구간을 유도한다.
• 형태 $ igl| heta_{ ext{est}} - migr| riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{a heta_0^2}{2}(v + (m - heta_0)^2)) + ext{log}(rac{1}{ ho}) igr] $ 의 신뢰구간을 유도하며, 여기서 $ a riangleq rac{2[ ext{exp}( heta_0) - 1 - heta_0]}{ heta_0^2} riangleq 1.2 $ 이다.
• 절단 파라미터 $ heta_0 $ 를 $ heta_0 = rac{1}{ heta_0} = rac{1}{ heta_0} $ 로 校정함으로써 최종 편차 경계 $ igl| heta_{ ext{est}} - migr| riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{a heta_0^2}{2}(v + (m - heta_0)^2)) + ext{log}(rac{1}{ ho}) igr] $ 를 도출하며, $ heta_0 $ 는 경계를 최소화하도록 선택된다.

실험 결과

연구 질문

• RQ1 첨도가 높은 분포의 평균에 대해, 가우시안 가정 없이도 매우 높은 신뢰도 수준(예: ε가 매우 작은 1−ε)을 유지하는 비점근적 신뢰구간을 구성할 수 있는가?
• RQ2 분산 또는 첨도가 유한한 분포의 클래스에서, 표본 평균의 편차 경계는 최소화된 최적 수준의 경계와 어떻게 비교되는가?
• RQ3 진짜 분포가 첨도가 높은 경우에도 거의 최소화된 최적 수준의 편차 경계를 가지는 강력한 추정기법을 설계할 수 있는가?
• RQ4 최적의 함수 대비 더 단순한 절단 함수(예: 조각별 선형 함수)를 사용할 경우, 편차 경계의 확대 비용은 얼마인가?
• RQ5 분산 또는 첨도에 대한 사전 지식이 없을 때, 관측 가능한 신뢰구간을 구성할 수 있는 조건은 무엇이며, Lepski의 방법이 언제 필요해지는가?

주요 결과

• 표본 평균 추정기법은 분산이 유한한 경우에도 최악의 첨도가 높은 분포 하에서 높은 신뢰도 수준에서 성능이 열 劣하다.
• 제안된 PAC-Bayesian 반복적 절단 추정기법은 최소화된 최적 수준의 경계에 대해 약 10% 이내의 편차 경계를 달성한다. 구체적으로, $ igl| heta_{ ext{est}} - migr| riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{a heta_0^2}{2}(v + (m - heta_0)^2)) + ext{log}(rac{1}{ ho}) igr] $, $ a riangleq 1.2 $ 으로, 경계는 $ riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{1.2 heta_0^2}{2}(v + (m - heta_0)^2)) + ext{log}(rac{1}{ ho}) igr] $ 로 표현된다.
• 사전 경계 $ v_0 $ 와 $ heta_0 $ 가 이용 가능한 경우, 추정기법은 $ riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{1.2 heta_0^2}{2}(v_0 + heta_0^2)) + ext{log}(rac{1}{ ho}) igr] $ 의 신뢰구간 너비를 달성하며, $ heta_0 $ 는 $ heta_0 = rac{1}{ heta_0} = rac{1}{ heta_0} $ 로 선택되어 최종 편차 경계는 $ riangleq rac{1}{ heta_0} igl[ ext{log}(1 + heta_0(m - heta_0) + rac{1.2 heta_0^2}{2}(v_0 + heta_0^2)) + ext{log}(rac{1}{ ho}) igr] $ 가 된다.
• 추정기의 편차는 최소화된 최적 수준의 경계에 대해 약 1.1배 이내에 머물며, 이는 가우시안 표본 평균 대비 약 10%의 정확도 손실에 해당한다. 이는 첨도가 높은 분포 하에서도 성립한다.
• 첨도에 대한 사전 경계가 이용 가능한 경우, 이 방법은 강력한 꼬리 확률 성질을 지닌 새로운 분산 추정기법을 도출한다.
• 분산 또는 첨도에 대한 사전 지식이 없을 경우, Lepski의 방법을 사용하여 알려지지 않은 척도에 적응할 수는 있지만, 추가적인 가정 없이선 관측 가능한 신뢰구간을 구성할 수 없다.