[論文レビュー] Understanding heavy tails in a bounded world or, is a truncated heavy tail heavy or not?

Arijit Chakrabarty, Gennady Samorodnitsky|arXiv (Cornell University)|Jan 19, 2010

Complex Systems and Time Series Analysis参考文献 27被引用数 4

ひとこと要約

本稿は、切断されたパワーロー法（重い尾を持つ）分布が、元の未切断の対応物と同一の主要な統計的性質を保持するかどうかを調査し、ソフト切断とハード切断の2つの状態に区別する。尾指数の一貫した推定と、切断タイプを分類するための統計的仮説検定を提案しており、ソフト切断では重い尾の挙動が保持されるが、ハード切断ではその特徴が消失することが判明。コンピュータネットワークデータセットを用いた実証的検証も実施。

ABSTRACT

We address the important question of the extent to which random variables and vectors with truncated power tails retain the characteristic features of random variables and vectors with power tails. We define two truncation regimes, soft truncation regime and hard truncation regime, and show that, in the soft truncation regime, truncated power tails behave, in important respects, as if no truncation took place. On the other hand, in the hard truncation regime much of "heavy tailedness" is lost. We show how to estimate consistently the tail exponent when the tails are truncated, and suggest statistical tests to decide on whether the truncation is soft or hard. Finally, we apply our methods to two recent data sets arising from computer networks.

研究の動機と目的

• 切断されたパワーロー法の尾が、未切断の重い尾の特徴をどの程度保持するかを特定すること。
• 統計的挙動に基づいて、切断状態をソフトまたはハードに分類すること。
• 尾の指数 α が切断されている場合に一貫した推定器を構築すること。
• 実データにおいてソフトとハード切断を区別するための統計的仮説検定を提案すること。
• 実際のコンピュータネットワークデータセット（切断されたパワーロー法の挙動を示す）を用いてフレームワークを検証すること。

提案手法

• 観測値が i.i.d. な確率的ベクトル H_j で、正則変動する尾を持つものとし、レベル M_n で切断される三角行列モデルを導入する。
• 2つの切断状態を定義：ソフト（尾の挙動が未切断のパワーロー法に類似）とハード（重い尾の特徴が失われる）。
• 調整パrameter β と γ を用いたヒル推定器を提案し、切断下でも尾指数 α の一貫した推定を可能にする。
• ハード切断の有無を検定するための統計量 Z_n(A; γ) と、より強いハード切断仮説を検定するための Z_n(A) を開発。
• これらの統計量の p 値を用いて、ハード切断仮説の妥当性を評価。
• 2つの実データセット（ファイルサイズとオブジェクトサイズ）にフレームワークを適用し、実データの尾の推定と仮説検定を実施。

実験結果

リサーチクエスチョン

• RQ1 切断されたパワーロー法の尾は、未切断の重い尾の統計的特徴をどの程度保持するか？
• RQ2 実データにおいて、ソフトとハードの切断状態を区別できるか？
• RQ3 データが切断されている場合に、尾指数 α を一貫して推定する方法は何か？
• RQ4 ソフトかハードの切断を信頼性高く検出できる統計的仮説検定は何か？
• RQ5 切断下での妥当な推論を実現するには、どの程度の標本サイズと調整パrameter の選択が必要か？

主な発見

• ソフト切断状態では、切断が行われたとしても、尾の挙動が切断なしと同一と見なされ、重い尾の主要な特徴が保持される。
• ハード切断状態では、極値統計の分野を除き、重い尾の挙動の大部分の特徴が失われる。
• 適切に調整された場合、ヒル推定器は切断下でも尾指数 α の一貫した推定を提供する。
• 4つのネットワークデータに対して実施した仮説検定では、ハード切断仮説は棄却されなかった（p 値 > 0.25）。ただし、データ4ではより低い p 値が得られた。
• オブジェクトサイズデータセット（2.2×10^7 件の観測）では、ソフト切断仮説は棄却されなかった（統計量 Z_n(A1) は A1/A と共に増加）。一方、ハード切断仮説に対しても棄却されず（p 値 > 0.36）、両者とも妥当性が保たれた。
• より強いハード切断仮説は、ε = 0.4 のときのみ棄却された（p = 0.08）。これは、オブジェクトサイズデータにハード切断の明確な証拠は限られていることを示唆している。