[論文レビュー] Modeling, dependence, classification, united statistical science, many cultures

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|Apr 20, 2012

Financial Risk and Volatility Modeling参考文献 22被引用数 10

ひとこと要約

本稿は、中間分布関数およびレジェンドル多項式から導かれる正規直交スコア関数を用いて、小規模データおよび大規模データの両方における従属関係を統合的にモデル化するフレームワークを提案する。非パラメトリックで分位数に基づく依存度測度であるLPINFORを提案し、非線形的かつ尾部依存的関係を捉える。分類、コプシラ密度推定、条件付きモデリングへの応用があり、ブラックボックス手法の計算的に効率的な代替手段を提供するとともに、パラメトリック、アルゴリズム的、情報理論的統計的アプローチを統合する。

ABSTRACT

Breiman (2001) proposed to statisticians awareness of two cultures: 1. Parametric modeling culture, pioneered by R.A.Fisher and Jerzy Neyman; 2. Algorithmic predictive culture, pioneered by machine learning research. Parzen (2001), as a part of discussing Breiman (2001), proposed that researchers be aware of many cultures, including the focus of our research: 3. Nonparametric, quantile based, information theoretic modeling. We provide a unification of many statistical methods for traditional small data sets and emerging big data sets in terms of comparison density, copula density, measure of dependence, correlation, information, new measures (called LP score comoments) that apply to long tailed distributions with out finite second order moments. A very important goal is to unify methods for discrete and continuous random variables. Our research extends these methods to modern high dimensional data modeling.

研究の動機と目的

• 従来のパラメトリックモデリング、アルゴリズム的予測、非パラメトリック分位数に基づく情報理論的アプローチを統合的に1つの統計的科学的文化に統合すること。
• 有限な2次のモーメントを必要とせず、非線形的かつ重尾的依存関係を捉えることができる依存度測度LPINFORを開発すること。
• コプシラ密度および比較密度の直交級数展開を用いて、マージナル、結合、条件付き分布の解釈可能でデータ適応的なモデリングを可能とすること。
• 機械学習手法のブラックボックス的アプローチの代わりに、診断ツール（LPコモーメントや条件付き情報測度など）を通じて「データを観察する」計算的に効率的でブラックボックスでない代替手段を提供すること。

提案手法

• 中間分布関数 $ F^{\text{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ から得られる正規直交スコア関数 $ T_j(x;X) $ を、区間 $ (0,1) $ におけるレジェンドル多項式による近似で構築する。
• 分位数関数 $ Q(u;X) $ とスコアベクトル $ Sc(X) = (T_1(X;X), \dots, T_m(X;X)) $、および $ Sco(X) = (X - \mathbb{E}[X], Sc(X)) $ を定義する。
• スコアベクトル $ Sc(X) $ と $ Sc(Y) $ の共分散として、LPコモーメント行列 $ \operatorname{LP}(j,k;X,Y) $ を推定し、依存度測定の基盤を形成する。
• LPINFORの定義を、最大のLPコモーメントの二乗和として行い、非パラメトリックな依存度測度とする。
• コプシラ密度および比較密度の直交級数展開をLPコモーメントを用いて行い、AICによるモデル選択によりデータ適応的複雑性を確保する。
• ベイズの定理のオッズ形を用いて、条件付き比較密度とコプシラ密度を関連づけ、$ \mathbb{E}[Y|X] $、$ \mathbb{E}[T_k(Y;Y)|X] $、および $ \operatorname{cop}(u,v;X,Y) $ の非パラメトリック推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 離散的および連続的変数間の依存関係を、尾部依存性と非線形性を捉える統合的非パラメトリックな方法で測定するにはどうすればよいか？
• RQ2 有限な2次のモーメントを必要とせず、長尾分布に対してロバストな依存度測度を構築できるか？
• RQ3 正規直交スコア関数に基づく直交級数展開を用いて、コプシラ密度および条件付き期待値をどのように推定できるか？
• RQ4 LPコモーメントは、2変量データにおける非正規的依存性および尾部挙動の診断に果たす役割は何か？
• RQ5 解釈可能性と計算効率を維持したまま、高次元データにこのフレームワークをどのように適合できるか？

主な発見

• LPINFOR測度は、LPコモーメントの二乗和として推定され、間欠泉データでは0.69の値を示し、強い依存関係を示した。一方、尾部クラスタリングの影響でピアソン相関は0.9に inflated された。
• LPコモーメント行列は、間欠泉データにおいて尾部依存性の明確なパターンを示しており、点が左下および右上に集積している。これは、標準的な相関係数では正確に捉えられない。
• AICで選択された積基底関数 $ S_j(X)S_k(Y) $ を用いたコプシラ密度の推定は、尾部依存性を非常に正確かつ包括的に捉えた。これは、受容・棄却サンプリングによる妥当性確認がなされた。
• 条件付きLPINFOR表現 $ \operatorname{LPINFOR}(Y|X=Q(u;X)) $ は、全依存度を位置に依存する寄与度に分解でき、分位数範囲全体にわたり解釈可能な診断を可能にした。
• フレームワークは、スコア関数の線形結合として非パラメトリック回帰関数 $ \mathbb{E}[Y|X] $ および $ \mathbb{E}[T_k(Y;Y)|X] $ を成功裏に推定した。AICによるモデル選択により最適な複雑性が確保された。
• LPコモーメントの線形結合として $ \operatorname{Var}(X) $ および $ \operatorname{Cov}(X,Y) $ の新たな表現が導出され、非正規的および重尾的挙動の診断に寄与した。