[論文レビュー] Multiple Outlier Detection in Samples with Exponential & Pareto Tails: Redeeming the Inward Approach & Detecting Dragon Kings

Spencer Wheatley, Didier Sornette|arXiv (Cornell University)|Jan 1, 2015

Complex Systems and Time Series Analysis参考文献 37被引用数 2

ひとこと要約

本稿では、指数分布およびパレート尾部付き標本における複数の外れ値を検出する、頑健な内向き逐次検定手法を提案する。この手法は、外向き検定と同等の検出力を持つが、より単純で誤差の少ないものであることが示された。実世界のデータにおいて「ドラゴン・キング」イベント（意味のある、特異な外れ値）を同定し、信頼性のある推論のためには正しい分布指定が不可欠であることを示した。

ABSTRACT

We consider the detection of multiple outliers in Exponential and Pareto samples -- as well as general samples that have approximately Exponential or Pareto tails, thanks to Extreme Value Theory. It is shown that a simple "robust'' modification of common test statistics makes inward sequential testing -- formerly relegated within the literature since the introduction of outward testing -- as powerful as, and potentially less error prone than, outward tests. Moreover, inward testing does not require the complicated type 1 error control of outward tests. A variety of test statistics, employed in both block and sequential tests, are compared for their power and errors, in cases including no outliers, dispersed outliers (the classical slippage alternative), and clustered outliers (a case seldom considered). We advocate a density mixture approach for detecting clustered outliers. Tests are found to be highly sensitive to the correct specification of the main distribution (Exponential/Pareto), exposing high potential for errors in inference. Further, in five case studies -- financial crashes, nuclear power generation accidents, stock market returns, epidemic fatalities, and cities within countries -- significant outliers are detected and related to the concept of ‘Dragon King’ events, defined as meaningful outliers of unique origin.

研究の動機と目的

• 外向き検定の限界を是正するため、より頑健で信頼性の高い内向き逐次検定手法を提案すること。
• 分散型および凝集型の外れ値を含むさまざまな外れ値構成下で、ブロック検定および逐次検定フレームワークにおけるさまざまな検定統計量の性能を評価すること。
• 基礎となる指数分布またはパレート分布の正しく指定されていない場合の外れ値検出への感受性を調査すること。
• 金融市場の崩壊や流行病の死者数などの実世界データセットにおいて、『ドラゴン・キング』イベント（特異的かつ意味のある起源を持つ外れ値）を同定・分析すること。
• 外向き検定が要請する複雑な第一種誤りの制御を回避できる内向き検定が、実用的使いやすさを向上させることを示すこと。

提案手法

• 複数の外れ値が存在する状況でも性能を向上させるために、一般的な検定統計量を頑健な修正を加えて適用する。
• 内向き逐次検定を採用し、最も極端な観測値を極端さの順に昇順でテストする。外向き検定とは異なり、最も極端な値から始めない。
• 検出力と誤り率を評価するために、さまざまな検定統計量を用いたブロック検定と逐次検定フレームワークを比較する。
• 凝集型外れ値を分散型外れ値とは別クラスとして扱うために、密度混合モデルを適用する。
• 一般標本の尾部挙動をモデル化するにあたり、指数分布およびパレート分布の使用を極値理論を用いて正当化する。
• 統計的有意性と分布適合度を用いて、5つの実世界の事例研究を通じてドラゴン・キングイベントを同定することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 指数分布およびパレート分布の標本における複数の外れ値を検出するにあたり、内向き逐次検定は外向き検定と比べて検出力および誤り率でどのように異なるか？
• RQ2 指数分布またはパレート分布の誤った分布仮定が、外れ値検出の正確性および推論の信頼性に与える影響は何か？
• RQ3 標準的検定統計量の頑健な修正が、内向き逐次検定の性能を向上させ得るか？
• RQ4 しばしば無視されがちな凝集型外れ値は、統計モデルを用いてどのように効果的に検出できるか？
• RQ5 実世界のデータ（例：金融市場の崩壊、流行病の死者数）で同定された顕著な外れ値は、特異的かつ一意の起源を持つ『ドラゴン・キング』イベントとみなせるか？

主な発見

• 頑健な内向き逐次検定手法は、外向き検定と同等の検出力を達成するが、外向き検定が要請する複雑な第一種誤りの制御を回避できる。
• 内向き検定は単純さと安定性のおかげで、誤りの発生が少なく、実世界の応用においてより実用的である。
• 外れ値検出の性能は、主分布の正しく指定されているかどうかに強く依存しており、分布の誤指定は顕著な推論誤りを引き起こす。
• 密度混合モデルは凝集型外れ値を効果的に検出でき、古典的なスリッページモデルではしばしば見逃される。
• 5つの実世界の事例研究（金融市場の崩壊、原子力事故、株式リターン、流行病の死者数、都市規模分布）から、ドラゴン・キング概念に一致する顕著な外れ値が同定された。
• これらの事例研究で同定された外れ値は、ランダムな極端値ではなく、一意で特定可能な原因を持つものであり、意味のある高影響力イベントであるドラゴン・キング仮説を支持するものであった。