[論文レビュー] DepthProc An R Package for Robust Exploration of Multidimensional Economic Phenomena

Daniel Kosiorowski, Zygmunt Zawadzki|arXiv (Cornell University)|Aug 20, 2014

Advanced Statistical Methods and Models参考文献 55被引用数 29

ひとこと要約

この論文は、経済的データおよび高次元データのための頑健な多次元統計的解析を、深さに基づく手法を用いて行う DepthProc R パッケージを紹介する。このパッケージは、DDプロット、深さ曲線、多次元ランク検定を通じて、データの深さ、スケール、位置の違いの可視化を可能にし、効率的な計算と R の ggplot2 エコシステムへの統合により、柔軟な可視化と推論を支援する。

ABSTRACT

Data depth concept offers a variety of powerful and user friendly tools for robust exploration and inference for multivariate socio-economic phenomena. The offered techniques may be successfully used in cases of lack of our knowledge on parametric models generating data due to their nonparametric nature. This paper presents the R package DepthProc, which is available under GPL-2 licence on CRAN and R-forge servers for Windows, Linux and OS X platform. The package consist of among others successful implementations of several data depth techniques involving multivariate quantile-quantile plots, multivariate scatter estimators, local Wilcoxon tests for multivariate as well as for functional data, robust regressions. In order to show the package capabilities, real datasets concerning United Nations Fourth Millennium Goal and the Internet users activity are used.

研究の動機と目的

• データの深さの概念を用いて、多次元経済現象を包括的かつ頑健に分析するフレームワークを提供すること。
• 古典的多次元手法の限界を克服するため、外れ値や正規性の不満たしに対してより耐性を持つ深さに基づく代替手法を導入すること。
• DDプロットや深さ曲線のような専用プロットを通じて、位置、スケール、多次元正規性の違いの可視的探索を可能にすること。
• 漸近的分布に基づく理論的裏付けを有する深さに基づくノンパラメトリック検定（例：多次元ウィルコクソンランク和検定）を用いた推論を支援すること。
• ggplot2 との互換性を持つ、統合的かつ拡張可能な R パッケージとして、高度な可視化および統計機能を統合すること。

提案手法

• 半空間、単体、空間深さなどの深さ関数を多次元データに実装し、`depth_params` 引数によるパラメータのカスタマイズを可能にする。
• DDプロットを用いて、1つのサンプルの深さ値を別のサンプルの深さ値に対してプロットすることで、2つの多次元分布の比較を行い、心臓型や月牙型のパターンによって位置やスケールの違いを明らかにする。
• 深さランクに基づく多次元ウィルコクソン検定を適用し、結合サンプル内の観測値のランクから検定統計量を計算する。Li (2004) および Zuo (2006) による正確かつ漸近的性質が理論的に導出されている。
• 深さの結果をカプセル化し、効率的な計算とプロットを可能にするために、カスタム S4 クラス（`Depth`、`DepthCurve`、`DDPlot`）を設計し、`getPlot()` を用いて `ggplot2` オブジェクトへの変換を可能にする。
• `robust = TRUE` を `ddMvnorm` に指定することで、理論的多次元正規分布のための頑健な推定を統合し、頑健な分散・位置推定を用いる。
• オブジェクト指向構造をモデル化するための UML クラス図を用い、モジュール性と拡張性を確保する。

実験結果

リサーチクエスチョン

• RQ1 経済データにおける2つの多次元サンプル間の位置およびスケールの違いを、どのように深さに基づいて頑健に検出できるか？
• RQ2 深さに基づく多次元ランク検定の統計的性質は何か？また、古典的 Hotelling’s T² やノンパラメトリック代替手法と比べてどう異なるか？
• RQ3 DDプロットは、特に高次元経済データにおいて、多次元正規性とその逸脱を効果的に可視化できるか？
• RQ4 深さに基づく可視化と推論を、インタラクティブで出版水準の高いグラフィックスをサポートする R で効率的に実装できるか？
• RQ5 深さ中央値やその他の深さに基づく統計量を計算する際、`Depth` S4 クラスによる深さ値のキャッシュ化によって得られる性能向上は何か？

主な発見

• 深さランクに基づく多次元ウィルコクソン検定は、スケールの違いを検出するうえで強い一貫性と有効性を示し、帰無仮説および対立仮説の下での漸近的分布が理論的に導出された。
• DDプロットは、サンプル間の構造的違いを効果的に明らかにした：心臓型のパターンは位置シフトを示し、月牙型のパターンはスケールの違いを示した（図32および33で確認）。
• `Depth` クラスによる深さ値のキャッシュ化により、深さ中央値推定の計算時間が 1.609 秒から 0.001 秒にまで短縮され、顕著な性能向上が確認された。
• `getPlot()` 関数により、`DDPlot` および `DepthCurve` オブジェクトを `ggplot2` オブジェクトにシームレスに変換でき、タイトル、色調、凡例の完全なカスタマイズが可能になった。
• `combineDepthCurves` 演算子により、複数のスケール曲線を1つのリストに効率的に統合し、同時に可視化できるようになった（1995年から2011年までの乳児死亡率と麻疹ワクチン接種率の分析で示された）。
• `ddMvnorm` における頑健なパrameter推定（`robust = TRUE` により）は、混合状態下での理論的基準分布の信頼性を向上させた。`alpha` は分散推定の破壊点を制御する。