[論文レビュー] Depth statistics

Karl Mosler|arXiv (Cornell University)|Jul 20, 2012

Advanced Statistical Methods and Models参考文献 18被引用数 62

ひとこと要約

この論文は、中央値や四分位数といった単変量の概念を多変量および関数データへ一般化する非パラメトリック手法であるデータディープネス統計の発展と応用をレビューする。データディープネスに基づく中央領域は、ロバストで形状に敏感な手法として、位置、スケール、分布形状の記述に用いられ、確率分布および関数空間へと理論的基盤を拡張する。

ABSTRACT

In 1975 John Tukey proposed a multivariate median which is the 'deepest' point in a given data cloud in R^d. Later, in measuring the depth of an arbitrary point z with respect to the data, David Donoho and Miriam Gasko considered hyperplanes through z and determined its 'depth' by the smallest portion of data that are separated by such a hyperplane. Since then, these ideas has proved extremely fruitful. A rich statistical methodology has developed that is based on data depth and, more general, nonparametric depth statistics. General notions of data depth have been introduced as well as many special ones. These notions vary regarding their computability and robustness and their sensitivity to reflect asymmetric shapes of the data. According to their different properties they fit to particular applications. The upper level sets of a depth statistic provide a family of set-valued statistics, named depth-trimmed or central regions. They describe the distribution regarding its location, scale and shape. The most central region serves as a median. The notion of depth has been extended from data clouds, that is empirical distributions, to general probability distributions on R^d, thus allowing for laws of large numbers and consistency results. It has also been extended from d-variate data to data in functional spaces.

研究の動機と目的

• 単変量の中央値の概念を多変量および関数データへ一般化・拡張すること。
• データ分布の位置、スケール、形状を記述するためのロバストで非パラメトリックな手法を開発すること。
• ディープネスに基づく統計の理論的基盤を確立すること。特に大数の法則や一貫性に関する結果を含む。
• 計算可能性、ロバスト性、データの非対称性への感受性の観点から、さまざまなディープネス概念を比較し、統一すること。
• 標本データクラウドから一般の確率分布および関数空間へのディープネスの拡張を図ること。

提案手法

• Tukeyのディープネスの概念に従い、データクラウドにおける「最も深い」点として多変量中央値を提案する。
• DonohoとGaskoの手法に従い、点zのディープネスを、zを通る超平面によって分離されるデータの最小割合として定義する。
• ディープネス統計の上位レベル集合として、ディープネストリムド領域（中央領域）を構築し、中心的なデータ行動を捉える。
• 理論的一致性を確保するため、一般のR^d上の確率分布へのディープネス定義の拡張を行う。
• 無限次元空間へのフレームワークの一般化により、関数データへのディープネスの適用を図る。
• ディープネスに基づく領域を用いて、位置、スケール、形状といった分布の特徴を非パラメトリックに表現する。

実験結果

リサーチクエスチョン

• RQ1 ディープネスに基づく手法を用いて、中央値の概念を多変量および関数データへどのように一般化できるか？
• RQ2 一般の確率分布へと拡張された場合、ディープネス統計の理論的性質は何か？
• RQ3 さまざまなディープネス概念は、ロバスト性、計算可能性、データの非対称性への感受性の観点でどのように比較できるか？
• RQ4 ディープネストリムド領域は、データクラウドの中心構造をどの程度効果的に記述できるか？
• RQ5 ヒルバート空間やバナッハ空間における無限次元データへ、ディープネスをどのように意味的に拡張できるか？

主な発見

• データディープネスは、古典的な多変量の位置およびスケール測度に対するロバストで非パラメトリックな代替手法を提供する。
• ディープネストリムド領域は、データ分布の中心的で代表的な部分を捉えるセット値統計の族を形成する。
• 最も中心的な領域は多変量中央値に対応し、単変量中央値の一般化である。
• 一般の確率測度の下で、ディープネスに基づく統計の理論的一致性、特に大数の法則に関する結果が確立されている。
• このフレームワークは関数データへも成功裏に拡張され、無限次元空間におけるディープネス解析を可能にする。
• 異なるディープネス概念は、計算の複雑さやデータ形状への感受性において差異を示し、特定の統計的問題に適した応用が可能になる。