[論文レビュー] Trimming the Hill estimator: robustness, optimality and adaptivity

Shrijita Bhattacharya, Michalis Kallitsis+1 more|arXiv (Cornell University)|May 8, 2017

Financial Risk and Volatility Modeling参考文献 20被引用数 3

ひとこと要約

本稿は、極端な順序統計量を除外することで汚染効果を軽減する、頑健で最適重み付きトリムド・ヒル推定量を導入する。この推定量はパレートモデル下で有限標本効率性を達成し、2次条件のもとで漸近正規性を保証する。また、トリムド・ヒルプロットと逐次仮説検定を用いたデータ駆動型トリミング手順を提案し、未知の汚染レベルに適応可能にするとともに、極端な外れ値を特定可能にする。

ABSTRACT

We introduce a trimmed version of the Hill estimator for the index of a heavy-tailed distribution, which is robust to perturbations in the extreme order statistics. In the ideal Pareto setting, the estimator is essentially finite-sample efficient among all unbiased estimators with a given strict upper break-down point. For general heavy-tailed models, we establish the asymptotic normality of the estimator under second order conditions and discuss its minimax optimal rate in the Hall class. We introduce the so-called trimmed Hill plot, which can be used to select the number of top order statistics to trim. We also develop an automatic, data-driven procedure for the choice of trimming. This results in a new type of robust estimator that can {\em adapt} to the unknown level of contamination in the extremes. As a by-product we also obtain a methodology for identifying extreme outliers in heavy tailed data. The competitive performance of the trimmed Hill and adaptive trimmed Hill estimators is illustrated with simulations.

研究の動機と目的

• 極端な値の汚染が存在する状況において、頑健で最適かつ適応可能な尾指数推定の欠如に対処すること。
• 理想的なパレートモデル下で有限標本効率性を維持しつつ、上位の順序統計量における摂動に対して頑健であるように、トリムド・ヒル推定量を構築すること。
• 2次正則変動条件のもとで、トリムド推定量の漸近正規性とミニマックス最適性を確立すること。
• トリムド・ヒルプロットと逐次仮説検定を用いて、$k_0$ のトリミングパラメータをデータ駆動型に選択する手法を提案すること。
• 極端な値の汚染レベルが未知である状況でも自動的に適応可能であり、重尾分布データにおける極端な外れ値を特定可能にするようにすること。

提案手法

• パレートモデル下で最良線形不偏推定量として導出された最適重み $c_{k_0,k}(i)$ を用いた重み付きトリムド・ヒル推定量 $\widehat{\xi}^{\rm trim}_{k_0,k}(n) = \sum_{i=k_0+1}^{k} c_{k_0,k}(i) \log\left(\frac{X_{(n-i+1,n)}}{X_{(n-k,n)}}\right)$ を提案する。
• 上位順序統計量の対数比の共分散行列の逆行列を用いて、最適重み $c_{k_0,k}(i)$ を導出する。これにより、固定された上位破壊点を有する不偏推定量の中で有限標本効率性が保証される。
• 固定された $k$ に対して異なる $k_0$ 値の下で推定量をプロットすることで、トリミングパラメータ $k_0$ の選択を支援する視覚的ツールとして、トリムド・ヒルプロットを導入する。
• 重み付き比の構造的変化を検出するための重み付き逐次仮説検定手順を構築し、最適トリムド推定量の漸近的同時分布を活用して $k_0$ を自動的に選択する。
• トリムド推定量の漸近的同時分布を用いて、異常な極端順序統計量の検出に適した検定統計量を構築する。これにより、外れ値の特定が可能になる。
• ハルのクラスにおけるミニマックスレート最適性を確立し、慢性的関数 $\ell(x)$ に対する2次条件のもとで漸近正規性を証明する。

実験結果

リサーチクエスチョン

• RQ1 パレートモデル下で、固定された上位破壊点を有する不偏推定量の中で有限標本効率性を達成するように、ヒル推定量のトリムド版を構築できるか？
• RQ2 もし $k_0 = o(k)$ であれば、トリムド・ヒル推定量は、古典的ヒル推定量と同等の収束速度を維持できるか？
• RQ3 ハルのクラスに属する重尾分布において、トリムド・ヒル推定量のミニマックス最適収束速度は何か？
• RQ4 汚染レベルを事前に知らなくてもよい、データ駆動型の自動的手順を用いて、トリミングパラメータ $k_0$ を選択できるか？
• RQ5 トリムド推定量を用いて、重尾分布データにおける極端な外れ値を検出・特定できるか？

主な発見

• 提案されたトリムド・ヒル推定量は、パレートモデル下で、固定された強い上位破壊点を有するすべての不偏推定量の中で有限標本効率性を達成する。
• 上位破壊点が固定されたまま $k_0 = o(k)$ であれば、古典的ヒル推定量と同等の収束速度を維持する。これは、ややきつい条件下でも効率の損失がないことを示唆する。
• トリムド・ヒル推定量は、ハルのクラスに属する重尾分布においてミニマックスレート最適である。これは、尾指数推定の最適収束速度と一致する。
• トリムド・ヒルプロットは、異なる $k_0$ 値における推定量の安定性を効果的に可視化し、トリミングパラメータの選択を支援する。
• $k_0$ 選択のための逐次仮説検定手順は漸近的に有効であり、$k^\delta \max_{0 \leq k_0 < h(k)} |T_{k_0,k} - T^*_{k_0,k}| \stackrel{P}{\to} 0$ を満たす。これは、データ駆動型トリミング選択の一致性を確認する。
• シミュレーションを通じて、極端な外れ値が、上位順序統計量における統計的に有意な逸脱を検出することで、重尾分布データにおいて成功裏に特定可能であることが示された。