[論文レビュー] Extreme Value Analysis Without the Largest Values: What Can Be Done?

Jingjing Zou, Richard A. Davis+1 more|arXiv (Cornell University)|Dec 20, 2017

Complex Network Analysis Techniques被引用数 3

ひとこと要約

本稿では、重尾分布データにおける極値の欠落を考慮するために、未観測極値の数をパラメータとしてモデル化する関数的ヒル推定器HEWEを提案する。これはガウス過程への関数的収束を確立し、尾指数、バイアス、欠落極値数の同時推定を可能にする。シミュレーションおよび実世界のソーシャルネットワークデータを用いた検証により、欠落が生じる状況下でもパrameter推定が著しく改善されることを示している。

ABSTRACT

In this paper we are concerned with the analysis of heavy-tailed data when a portion of the extreme values is unavailable. This research was motivated by an analysis of the degree distributions in a large social network. The degree distributions of such networks tend to have power law behavior in the tails. We focus on the Hill estimator, which plays a starring role in heavy-tailed modeling. The Hill estimator for this data exhibited a smooth and increasing "sample path" as a function of the number of upper order statistics used in constructing the estimator. This behavior became more apparent as we artificially removed more of the upper order statistics. Building on this observation we introduce a new version of the Hill estimator. It is a function of the number of the upper order statistics used in the estimation, but also depends on the number of unavailable extreme values. We establish functional convergence of the normalized Hill estimator to a Gaussian process. An estimation procedure is developed based on the limit theory to estimate the number of missing extremes and extreme value parameters including the tail index and the bias of Hill's estimator. We illustrate how this approach works in both simulations and real data examples.

研究の動機と目的

• データセットにおける最大の観測値が欠落または未観測である場合に、極値パrameterを推定する課題に対処すること。
• 重尾分布における欠落極値数と尾指数を同時に推定する統計的枠組みを構築すること。
• 上位順序統計量が系的に欠落している状況下で、ヒル推定器の挙動をモデル化すること。この場合、標本パスは通常のフラクチュエートするパターンとは対照的に滑らかで増加的になる。
• 適切な正則変動仮定の下で、新しい推定器の漸近的理論を確立し、関数的収束がガウス過程に至ることを示すこと。
• 実データ応用に向けた実用的な推定手順と計算ツールを提供すること。具体的には、ソーシャルネットワークの次数分布や自然災害データを対象とする。

提案手法

• θ（使用する上位順序統計量の割合）とδ（欠落極値の割合）をパrameterとする二パラメータ関数的ヒル推定器HEWE(θ;δ)を提案する。
• 正規化された推定器を、ブラウン運動と欠落極値に起因するバイアス項を含む関数的極限としてモデル化することで、HEWEの漸近的分布を導出する。
• Komlós–Major–Tusnády近似を用いて、経験過程とブラウン運動を結びつけ、極限ガウス過程の導出を可能にする。
• 正規化されたHEWEの関数的収束を、δとθに依存する特定の共分散構造を持つガウス過程に確立する。
• 正則変動指数ρとスケーリング関数A(n/kn)を含む漸近バイアス項IIを導出する。この項は、欠落極値が推定器に与える影響を捉える。
• 極限理論に基づく推定手順を開発し、観測データからδ（欠落極値数）、γ（尾指数）、バイアスパラメータを推定する。

実験結果

リサーチクエスチョン

• RQ1 最大値が欠落しているデータセット、特に欠落極値数が未知の状況において、ヒル推定器をどのように適合させることができるか。
• RQ2 上位順序統計量が体系的に削除されている場合、ヒル推定器の理論的挙動はどのように変化するか。
• RQ3 どのようにすれば、尾指数とバイアスの推定とともに、欠落極値数を同時に推定できるか。
• RQ4 欠落極値が存在する状況下での関数的ヒル推定器の漸近的分布は何か。また、この分布は推論に利用可能か。
• RQ5 提案手法は、極値が未観測となる可能性のある実世界の重尾データ（例：ソーシャルネットワークの次数分布）に適用可能か。

主な発見

• 関数的ヒル推定器HEWE(θ;δ)は、θとδに依存する非退化共分散構造を持つガウス過程に弱収束する。これにより統計的推論が可能になる。
• 欠落極値が存在する状況下でのヒル推定器のバイアスは、A(n/kn)にδとθの関数を乗じた形で漸近的に比例する。正則変動の下では、スケーリング関数A(n/kn)はO(1/√kn)のレートで減少する。
• シミュレーションにおいて、本手法は欠落極値数δと尾指数γを効果的に推定でき、最大で10％の最大値が削除された場合でも正確な回復が達成された。
• Google+ソーシャルネットワークデータでは、観測された滑らかで増加的であるヒルプロットは、高次数ノードの欠落に起因しており、モデルは約1,000〜2,000件の未観測極値の次数が存在すると推定した。
• R Shinyウェブアプリケーションにより、リアルタイムでのパラメータ推定とインタラクティブな可視化が可能であり、ユーザーは欠落極値をシミュレートし、削除前後での推定性能を比較できる。
• 欠落極値が存在する状況下では、本手法は標準ヒル推定を上回る性能を示した。後者は上部尾根が欠落しているため、kの選択に安定した領域を特定できなかった。