[論文レビュー] Outliers and related problems

Lev B. Klebanov, Jaromı́r Antoch+2 more|arXiv (Cornell University)|Jan 23, 2017

Statistical Distribution Estimation and Applications参考文献 4被引用数 4

ひとこと要約

本稿では、外れ値を特定の統計的モデルと矛盾する観測値として再定義し、モデルに依存する枠組みを提案する。この枠組みは、外れ値を重尾分布や大数の法則の破綻と結びつける。外れ値は、標本平均および標本分散からの極端な逸脱に基づく厳密な確率的定義がなされ、安定分布やパレート分布において自然に生じることを示し、外れ値を除外するのではなくモデルの改善に向けた道筋を提示する。

ABSTRACT

We define outliers as a set of observations which contradicts the proposed mathematical (statistical) model and we discuss the frequently observed types of the outliers. Further we explore what changes in the model have to be made in order to avoid the occurance of the outliers. We observe that some variants of the outliers lead to classical results in probability, such as the law of large numbers and the concept of heavy tailed distributions. Key words: outlier; the law of large numbers; heavy tailed distributions; model rejection.

研究の動機と目的

• 『遠く離れている』という曖昧で不正確な従来の外れ値の定義の問題を解決すること。
• 統計的矛盾に基づく数学的に厳密でモデル依存の外れ値の定義を確立すること。
• 外れ値の存在がパラメトリックモデルの欠陊を明らかにし、モデルの修正を示唆することを探索すること。
• 外れ値の出現が、重尾分布や大数の法則の失敗といった根本的な確率的現象とどのように関連するかを明らかにすること。

提案手法

• 与えられたモデル下での極めて低い確率で発生する観測値として外れ値を形式的に定義し、小さな非ゼロ確率に対してβ-外れ値の概念を導入する。
• 標準化された偏差 |X - x̄|/s_n > k を用いて、標本平均および標本標準偏差に基づき『遠く離れている』観測値を定義する。
• 極値理論と正則変動を用いて、特に X_(n) および X_(n-1) の順序統計量の漸近的挙動を分析し、重尾的挙動を特徴付ける。
• すべての n および κ ∈ (0,1) に対して P(X_(n-1) ≤ κX_(n)) = κ^α が成り立つことと、分布が形状母数 α のパレート分布であることが同値であることを示す特徴づけ定理を導出する。
• 凸包体積や対間距離などのスカラー的特徴量を用いて、多変量の外れ値検出問題を一変量問題に還元する。
• 密度関数の正則変動の概念を用いて複数のモードを同定し、各モードに対して第一種外れ値として定義される多モーダル外れ値を定義する。

実験結果

リサーチクエスチョン

• RQ1 『外れ値』という用語を、曖昧さや主観的な距離尺度に依存しない形式的定義でどのように行えるか？
• RQ2 実証的データにおける外れ値の出現を裏付ける数学的・統計的メカニズムは何か？
• RQ3 外れ値は、大数の法則のような古典的確率的法則の破綻とどのように関連しているか？
• RQ4 外れ値の存在が、重尾分布や安定分布のような真の母集団分布を推定する手がかりとして利用可能か？
• RQ5 幾何的または分布的特徴量を用いることで、多変量外れ値をどの程度一変量外れ値検出に還元できるか？

主な発見

• 統計的モデルと矛盾する観測値として定義される外れ値は、本質的に誤差ではなく、特に重尾分布や安定分布の状況ではモデルの誤指定を示唆する可能性がある。
• P(|X - x̄|/s_n > k) が正規分布下の期待値を上回ることは、第一種外れ値の存在を示し、重尾的挙動と関連している。
• α ∈ (0,1) の場合、最大順序統計量 X_(n) が他の観測値によって相殺されないため、大数の法則が成立しない。これは標本平均の発散を引き起こす。
• すべての n および κ ∈ (0,1) に対して P(X_(n-1) ≤ κX_(n)) = κ^α が成り立つという条件は、形状母数 α のパレート分布を特徴づけ、重尾的挙動を検出する統計的検定を提供する。
• 多モーダル分布における外れ値は、各モードを基準点 a_j として |X - a_j| に対して第一種外れ値基準を適用することで検出可能であり、非正規性の複数の兆候を明らかにする。
• 多変量データにおける凸包体積や対間距離の使用により、外れ値検出が一変量問題に還元され、本稿の核心的な枠組みが保持される。