[논문 리뷰] Trimming the Hill estimator: robustness, optimality and adaptivity

Shrijita Bhattacharya, Michalis Kallitsis외 1명|arXiv (Cornell University)|2017. 05. 08.

Financial Risk and Volatility Modeling참고 문헌 20인용 수 3

한 줄 요약

이 논문은 극단적인 순서통계량을 제거하여 오염 영향을 완화시키는 강건하고 최적 가중치를 갖춘 절단 Hill 추정기인 중미분수치를 제안한다. 이 추정기는 파레토 모형 하에서 유한 표본 효율성을 확보하고, 두 번째 차수 조건 하에서 渐近 정규성을 보장하며, 절단 Hill 그림과 순차적 검정을 통해 데이터 기반의 절단 절차를 제안함으로써 알려지지 않은 오염 수준에 적응 가능하게 하면서 극단적 이상치를 식별할 수 있다.

ABSTRACT

We introduce a trimmed version of the Hill estimator for the index of a heavy-tailed distribution, which is robust to perturbations in the extreme order statistics. In the ideal Pareto setting, the estimator is essentially finite-sample efficient among all unbiased estimators with a given strict upper break-down point. For general heavy-tailed models, we establish the asymptotic normality of the estimator under second order conditions and discuss its minimax optimal rate in the Hall class. We introduce the so-called trimmed Hill plot, which can be used to select the number of top order statistics to trim. We also develop an automatic, data-driven procedure for the choice of trimming. This results in a new type of robust estimator that can {\em adapt} to the unknown level of contamination in the extremes. As a by-product we also obtain a methodology for identifying extreme outliers in heavy tailed data. The competitive performance of the trimmed Hill and adaptive trimmed Hill estimators is illustrated with simulations.

연구 동기 및 목표

• 극단적 값 오염 상황에서 강건하고 최적이며 적응 가능한 꼬리 지수 추정의 부족을 해결하기 위해.
• 이deal 파레토 모형 하에서의 유한 표본 효율성을 유지하면서도 상위 순서통계량의 변동성에 강건한 절단 Hill 추정기를 개발하기 위해.
• 두 번째 차수 정규변동 조건 하에서 절단 추정기의 渐近 정규성과 최소 최대 최적성(minimax optimality)을 확립하기 위해.
• 절단 Hill 그림과 순차적 검정을 활용하여 $k_0$의 데이터 기반 선택 방법을 제안하기 위해.
• 알려지지 않은 오염 수준에 자동 적응 가능하게 하고 극단적 이상치를 탐지할 수 있도록 하기 위해.

제안 방법

• 파레토 모형 하에서 최적의 선형 무작위 추정기로서 유한 표본 효율성을 보장하는 최적 가중치 $c_{k_0,k}(i)$를 도출한 절단 Hill 추정기 $\widehat{\xi}^{\rm trim}_{k_0,k}(n) = \sum_{i=k_0+1}^{k} c_{k_0,k}(i) \log\left(\frac{X_{(n-i+1,n)}}{X_{(n-k,n)}}\right)$를 제안한다.
• 상위 순서통계량의 로그 비율의 공분산 행렬의 역행렬을 이용하여 최적 가중치 $c_{k_0,k}(i)$를 유도함으로써, 고정된 상한 붕괴점 하에서 비편향 추정기 중에서 유한 표본 효율성을 확보한다.
• 고정된 $k$에 대해 다양한 $k_0$ 값에 대해 추정기를 그림으로 그려주는 시각적 도구로 절단 Hill 그림을 도입하여 $k_0$의 선택을 안내한다.
• 최적 절단 추정기의 공동 渐近 분포를 활용하여, 절단 추정기의 가중 비율에서의 구조적 변화를 검정하는 가중 순차적 검정 절차를 개발하여 $k_0$를 자동으로 선택한다.
• 절단 추정기의 공동 渐近 분포를 이용하여 이상치 탐지에 사용할 수 있는 검정 통계량을 구성함으로써, 극단적 순서통계량에서의 비정상성을 탐지할 수 있다.
• 점차적 정규성 조건 하에서 느린 변화 함수 $\ell(x)$에 대한 두 번째 차수 조건 하에서 절단 추정기의 최소 최대 수렴 속도 최적성(minimax rate-optimality)을 확립한다.

실험 결과

연구 질문

• RQ1 파레토 모형 하에서 고정된 상한 붕괴점과 비편향 추정기 중에서의 유한 표본 효율성을 달성할 수 있는 절단 Hill 추정기의 구성이 가능한가?
• RQ2 만약 $k_0 = o(k)$라면, 절단 Hill 추정기가 고전적 Hill 추정기와 동일한 수렴 속도를 유지할 수 있는가?
• RQ3 중미분수치가 하루의 분포 클래스인 Hall 클래스에서 최소 최대 수렴 속도가 무엇인가?
• RQ4 오염 수준을 사전에 알지 못하더라도, $k_0$의 데이터 기반 자동 선택 절차를 개발할 수 있는가?
• RQ5 절단 추정기를 사용하여 중미분수치 데이터에서 극단적 이상치를 탐지하고 식별할 수 있는가?

주요 결과

• 제안된 절단 Hill 추정기는 파레토 모형 하에서 고정된 강력한 상한 붕괴점과 비편향 추정기 전반에 대해 유한 표본 효율성을 확보한다.
• 만약 $k_0 = o(k)$라면, 추정기는 고전적 Hill 추정기와 동일한 수렴 속도를 유지하며, 미약한 조건 하에서 효율성 손실이 없다.
• 절단 Hill 추정기는 하루의 분포 클래스인 Hall 클래스에서 최소 최대 수렴 속도 최적성을 확보하며, 꼬리 지수 추정의 최적 수렴 속도를 따라간다.
• 절단 Hill 그림은 다양한 $k_0$ 값에서 추정기의 안정성을 효과적으로 시각화하여 절단 파rameter의 선택에 도움을 준다.
• 제안된 $k_0$ 선택을 위한 순차적 검정 절차는 渐近적으로 타당하며, $k^\delta \max_{0 \leq k_0 < h(k)} |T_{k_0,k} - T^*_{k_0,k}| \stackrel{P}{\to} 0$를 만족함으로써 데이터 기반 절단 선택의 일致성을 확인한다.
• 모의 실험을 통해 중미분수치 데이터에서 극단적 이상치를 성공적으로 탐지하였으며, 이는 상위 순서통계량에서 통계적으로 유의미한 이탈을 감지함으로써 가능해졌다.