[論文レビュー] LP Mixed Data Science : Outline of Theory

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|Nov 4, 2013

Statistical Methods and Inference参考文献 15被引用数 3

ひとこと要約

本稿では、中間分布変換から導かれる正規直交レジェンドル型スコア関数を用いて、連続変数と離散変数の混合データに対する非パラメトリックなモデル化を統合的に扱うフレームワーク「LPミックスド・データサイエンス」を提案する。このフレームワークにより、LP共モーメントを用いたコプール密度、条件付き比較密度、依存構造のロバストな推定が可能となり、小規模データと大規模データ分析、分類、2標本推論を統一した理論的・アルゴリズム的アプローチで統合する。優れた統計的性質を備えた包括的かつ一貫性のある枠組みが提供される。

ABSTRACT

This article presents the theoretical foundation of a new frontier of research-`LP Mixed Data Science'-that simultaneously extends and integrates the practice of traditional and novel statistical methods for nonparametric exploratory data modeling, and is applicable to the teaching and training of statistics. Statistics journals have great difficulty accepting papers unlike those previously published. For statisticians with new big ideas a practical strategy is to publish them in many small applied studies which enables one to provide references to work of others. This essay outlines the many concepts, new theory, and important algorithms of our new culture of statistical science called LP MIXED DATA SCIENCE. It provides comprehensive solutions to problems of data analysis and nonparametric modeling of many variables that are continuous or discrete, which does not yet have a large literature. It develops a new modeling approach to nonparametric estimation of the multivariate copula density. We discuss the theory which we believe is very elegant (and can provide a framework for United Statistical Algorithms, for traditional Small Data methods and Big Data methods).

研究の動機と目的

• 連続変数と離散変数の混合データタイプの統計的モデリングの包括的かつ統一的な理論を構築し、伝統的な小規模データ手法と現代の大規模データ手法を橋渡しすること。
• 混合データ設定下での多変量コプール密度の非パラメトリック推定に向けた一貫性の欠片ないフレームワークの欠如を是正すること。
• 中間分布関数と正規直交スコア多項式に基づく統一された統計的枠組みを用いて、分類、2標本推論、依存構造モデリングを統合すること。
• 特にスパース、高次元、または混合タイプのデータに対して、既存手法の理論的に洗練され、実装可能な代替手法を提供すること。
• 古典的統計学、機械学習、データサイエンスを統合する共通の数学的構造を通じて、統合統計アルゴリズムの基盤を確立すること。

提案手法

• 中間分布変換 $ F^{ ext{mid}}(X;X) $ のべき乗をグラム・シュミットの正規直交化により正規直交スコア関数 $ T_j(x;X) $ として構築し、その後 $ S_j(u;X) = T_j(Q(u;X);X) $ を用いて分位数関数にマッピングする。
• 連続的 $ X $ の場合、区間 $ (0,1) $ 上の正規直交レジェンドル多項式 $ \operatorname{Leg}_j(u) $ をスコア関数として用いる：$ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $ であり、非パラメトリックモデリングの基底を形成する。
• 条件付き確率 $ \Pr[Y=1|X=x] $ をこれらの正規直交スコア関数の線形結合としてモデル化し、パラメトリックな形を仮定しない非パラメトリックなロジスティック回帰を可能にする。
• LP表現を用いてコプール密度を推定する：$ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $、ここで $ \operatorname{LP}(j,k;X,Y) $ はLP共モーメントである。
• 依存構造のモデリングと条件付き分位数のシミュレーションのため、条件付き比較密度 $ d(v;Y,Y|X=Q(u;X)) = \operatorname{ComPr}[Y=Q(v;Y)|X=Q(u;X)] $ を用いる。
• LPINFOR圧縮を適用：$ \operatorname{LPINFOR}(X_m,Y) $ により特徴量をランク付けし、高次元分類における最も情報量の多い予測変数を同定する。

実験結果

リサーチクエスチョン

• RQ1 小規模および大規模データの両方のスケールで、連続変数と離散変数の混合データを統合的にモデリングするための統一的統計フレームワークをどのように構築できるか？
• RQ2 中間分布変換から導かれる正規直交スコア関数は、従来のパラメトリックまたは非パラメトリックモデルに比べ、よりロバストで柔軟な代替手段を提供できるか？
• RQ3 正規直交多項式の基底を用いて、混合データ設定下でのコプール密度を非パラメトリックに推定する方法は何か？
• RQ4 比較密度とベイズの定理は、混合タイプの変数間の依存関係をモデリングする上で果たす役割は何か？
• RQ5 LP共モーメントとLPINFORは、高次元分類タスクにおける最も予測力のある特徴量を同定するためにどのように利用できるか？

主な発見

• 中間分布関数 $ F^{ ext{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ は、連続的でランクベースの変換を提供し、離散的および連続的データの取り扱いを統合する。
• 連続的 $ X $ の場合、正規直交スコア関数 $ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $ は、$ \Pr[Y=1|X=x] $ の非パラメトリックモデリングのための基底を形成する。
• コプール密度のLP表現 $ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $ は、データ駆動型の非パラメトリックな依存構造推定を可能にする。
• LPINFOR統計量 $ \operatorname{LP}(1,1;X,Y) $ は、独立性のもとで漸近的に標準正規分布に従い、ウィルコクソン順位和検定と同等であるため、ロバストな依存度の指標となる。
• 条件付き比較密度 $ d(v;Y,Y|X=Q(u;X)) $ を用いることで、条件付き分位数のシミュレーションと混合型データにおける依存構造のモデリングが可能となり、比較確率を通じてベイズの定理と直接的な関係を有する。
• 正規直交スコア関数による $ X $ における $ Y=1 $ の条件付き確率のモデリングにより、パラメトリックな形の仮定を回避しながら、統一された2標本推論と分類が可能になる。