[논문 리뷰] Depth statistics

Karl Mosler|arXiv (Cornell University)|2012. 07. 20.

Advanced Statistical Methods and Models참고 문헌 18인용 수 62

한 줄 요약

이 논문은 데이터 깊이 통계의 발전과 응용을 검토한다. 데이터 깊이 통계는 중앙값과 분위수와 같은 단변량 개념을 다변량 및 기능적 자료로 일반화하는 비모수적 방법론이다. 이 논문은 중심 영역을 중심으로 한 깊이 기반 방법을 통해 위치, 척도, 분포형태를 설명하는 데 있어 강건하고 형상 민감한 도구를 제시하며, 이론적 기초는 확률 분포와 기능 공간으로까지 확장된다.

ABSTRACT

In 1975 John Tukey proposed a multivariate median which is the 'deepest' point in a given data cloud in R^d. Later, in measuring the depth of an arbitrary point z with respect to the data, David Donoho and Miriam Gasko considered hyperplanes through z and determined its 'depth' by the smallest portion of data that are separated by such a hyperplane. Since then, these ideas has proved extremely fruitful. A rich statistical methodology has developed that is based on data depth and, more general, nonparametric depth statistics. General notions of data depth have been introduced as well as many special ones. These notions vary regarding their computability and robustness and their sensitivity to reflect asymmetric shapes of the data. According to their different properties they fit to particular applications. The upper level sets of a depth statistic provide a family of set-valued statistics, named depth-trimmed or central regions. They describe the distribution regarding its location, scale and shape. The most central region serves as a median. The notion of depth has been extended from data clouds, that is empirical distributions, to general probability distributions on R^d, thus allowing for laws of large numbers and consistency results. It has also been extended from d-variate data to data in functional spaces.

연구 동기 및 목표

• 데이터 깊이 개념을 단변량 중앙값을 초월해 다변량 및 기능적 자료로 공식화하고 확장하기.
• 위치, 척도, 분포형태를 기술하기 위한 강건하고 비모수적 방법론 개발.
• 깊이 기반 통계의 이론적 기초 확립, 대수의 법칙 및 일致성 결과 포함.
• 계산 가능성, 강건성, 자료 비대칭성에 대한 민감도를 비교함으로써 다양한 깊이 개념을 통합.
• 표본 자료 구름에서 일반적인 확률 분포와 기능 공간으로 깊이의 확장을 위한 기초 마련.

제안 방법

• Tukey의 깊이 개념을 활용해 데이터 클러스터 내에서 '가장 깊은' 점으로 다변량 중앙값을 제안.
• Donoho와 Gasko의 접근 방식을 따르며, 점 z의 깊이를 z를 통과하는 초평면에 의해 분리되는 데이터의 최소 비율로 정의.
• 깊이 통계의 상위 수준 집합으로서 깊이 자르기 또는 중심 영역을 구성하여 중심적인 데이터 행동을 포착.
• 이론적 일致성을 확보하기 위해 표본 분포에서 일반적인 R^d 상의 확률 분포로 깊이 정의를 확장.
• 무한차원 공간으로의 프레임워크 일반화를 통해 기능적 자료에 깊이 개념을 적용.
• 깊이 기반 영역을 사용해 비모수적으로 위치, 척도, 형상 등의 분포적 특징을 표현.

실험 결과

연구 질문

• RQ1 깊이 기반 방법을 사용해 다변량 및 기능적 자료에 대해 중앙값 개념을 어떻게 일반화할 수 있는가?
• RQ2 일반적인 확률 분포로 확장되었을 때 깊이 통계의 이론적 성질은 무엇인가?
• RQ3 다양한 깊이 개념은 강건성, 계산 가능성, 자료 비대칭성에 대한 민감도 측면에서 어떻게 비교될 수 있는가?
• RQ4 깊이 자르기 영역은 데이터 클러스터의 중심적 구조를 효과적으로 어떻게 묘사하는가?
• RQ5 유한차원 자료에서 힐버트 공간 또는 반바흐 공간의 기능적 자료로 깊이 개념을 어떻게 의미 있게 확장할 수 있는가?

주요 결과

• 데이터 깊이는 전통적인 다변량 위치 및 척도 측정법에 대한 강건하고 비모수적 대안을 제공한다.
• 깊이 자르기 영역은 데이터 분포의 중심적이고 가장 대표적인 부분을 포착하는 집합 기반 통계의 가족을 이룬다.
• 가장 중심적인 영역은 단변량 중앙값을 일반화한 다변량 중앙값에 해당한다.
• 일반적인 확률 측도 하에서 깊이 기반 통계에 대해 대수의 법칙 및 일치성 결과와 같은 이론적 일치성 결과가 확립되었다.
• 이 프레임워크는 기능적 자료로도 성공적으로 확장되어 무한차원 공간에서의 깊이 분석을 가능하게 했다.
• 다양한 깊이 개념은 계산 복잡도와 자료 형상에 대한 민감도에서 차이를 보이며, 특정 통계 문제에 맞게 맞춤형 적용이 가능하다.