[논문 리뷰] DepthProc An R Package for Robust Exploration of Multidimensional Economic Phenomena

Daniel Kosiorowski, Zygmunt Zawadzki|arXiv (Cornell University)|2014. 08. 20.

Advanced Statistical Methods and Models참고 문헌 55인용 수 29

한 줄 요약

이 논문은 경제학적 데이터 및 고차원 데이터의 강력한 다변량 통계 분석을 위한 DepthProc R 패키지를 소개한다. 깊이 기반 방법을 사용하여 데이터 깊이, 척도, 위치 차이를 DD-그림, 깊이 곡선, 다변량 순위 검정을 통해 시각화할 수 있으며, 효율적인 계산과 R의 ggplot2 생태계와의 통합을 통해 유연한 시각화와 추론을 지원한다.

ABSTRACT

Data depth concept offers a variety of powerful and user friendly tools for robust exploration and inference for multivariate socio-economic phenomena. The offered techniques may be successfully used in cases of lack of our knowledge on parametric models generating data due to their nonparametric nature. This paper presents the R package DepthProc, which is available under GPL-2 licence on CRAN and R-forge servers for Windows, Linux and OS X platform. The package consist of among others successful implementations of several data depth techniques involving multivariate quantile-quantile plots, multivariate scatter estimators, local Wilcoxon tests for multivariate as well as for functional data, robust regressions. In order to show the package capabilities, real datasets concerning United Nations Fourth Millennium Goal and the Internet users activity are used.

연구 동기 및 목표

• 데이터 깊이 개념을 활용하여 다차원 경제 현상 분석을 위한 종합적이고 강력한 프레임워크를 제공하기 위해.
• 기존 다변량 방법의 한계를 보완하기 위해 이상치 및 비정규성에 더 강건한 깊이 기반 대안을 도입하기 위해.
• 특수한 그림(예: DD-그림, 깊이 곡선)을 통해 위치, 척도, 다변량 정규성의 차이를 시각적으로 탐색할 수 있도록 하기 위해.
• 다변량 윌콕슨 순위합 검정과 같은 깊이 기반 비모수적 검정을 통해 추론을 지원하며, 渐近 분포 이론에 기반한 이론적 기초를 제공하기 위해.
• ggplot2 호환성을 갖춘 단일이고 확장 가능한 R 패키지로 고도화된 시각화 및 통계 기능을 통합하기 위해.

제안 방법

• 반경, 단체, 공간 깊이 등의 깊이 함수를 다변량 데이터에 구현하며, `depth_params` 인자를 통해 파라미터를 사용자 정의할 수 있도록 설계하였다.
• 두 개의 다변량 분포를 비교하기 위해 DD-그림을 사용하며, 한 샘플의 깊이 값을 다른 샘플의 깊이 값과 대조하여 위치나 척도의 차이를 특징적인 패tern(예: 심장 모양 또는 월형)으로 드러낸다.
• 관측치의 순위를 기반으로 한 다변량 윌콕슨 검정을 적용하며, 검정 통계량은 병합된 샘플 내 관측치의 순위에서 계산된다. Li(2004)와 Zuo(2006)에서 유도된 정확한 및 渐近적 성질을 활용한다.
• 깊이 결과를 캡슐화하고 효율적인 계산 및 플로팅을 가능하게 하기 위해 커스텀 S4 클래스(`Depth`, `DepthCurve`, `DDPlot`)를 설계하였으며, `getPlot()` 함수를 통해 `ggplot2` 객체로 변환할 수 있도록 하였다.
• 이론적 다변량 정규 기준 분포에 대해 `robust = TRUE`를 사용하여 강력한 추정을 통합하였으며, 강력한 공분산 및 위치 추정치를 사용한다.
• 패키지의 객체 지향 구조를 모델링하기 위해 UML 클래스 다이어그램을 사용하여 모듈성과 확장성을 보장하였다.

실험 결과

연구 질문

• RQ1 경제학적 데이터에서 두 개의 다변량 샘플 간의 위치 및 척도 차이를 강력하게 탐지하는 데에 데이터 깊이를 어떻게 활용할 수 있는가?
• RQ2 깊이 기반 다변량 순위 검정의 통계적 성질은 무엇이며, 기존의 호팅턴 T² 또는 비모수적 대안과 비교해 볼 때 어떠한가?
• RQ3 DD-그림은 고차원 경제 데이터 세트에서 다변량 정규성과 그 이탈을 효과적으로 시각화할 수 있는가?
• RQ4 깊이 기반 시각화 및 추론을 R에서 상호작용형 및 출판 수준의 그래픽을 지원하면서 효율적으로 구현할 수 있는가?
• RQ5 깊이 중앙값 또는 기타 깊이 기반 통계량을 계산할 때 `Depth` S4 클래스를 통해 깊이 값을 캐싱함으로써 성능 향상은 어느 정도 이루어지는가?

주요 결과

• 깊이 순위 기반 다변량 윌콕슨 검정은 척도 차이 탐지에 강력한 일致성과 효과성을 보였으며, 근사 분포는 귀무가설 및 대립가설 하에서 유도되었다.
• DD-그림은 샘플 간의 구조적 차이를 성공적으로 드러내었으며, 심장 모양의 패턴은 위치 이동을, 월형 패턴은 척도 차이를 나타내었고, 그림 32와 33에서 이를 확인하였다.
• `Depth` 클래스를 통한 깊이 값 캐싱으로 깊이 중앙값 추정의 계산 시간이 1.609초에서 0.001초로 감소하여 뚜렷한 성능 향상을 보였다.
• `getPlot()` 함수를 통해 `DDPlot` 및 `DepthCurve` 객체를 `ggplot2` 객체로 원활하게 변환할 수 있었으며, 제목, 색상 팔레트, 범례의 완전한 커스터마이제이션가 가능했다.
• `combineDepthCurves` 연산자를 통해 여러 척도 곡선을 하나의 목록으로 효율적으로 통합하여 공동 시각화가 가능했으며, 1995년부터 2011년까지의 유아 사망률과 화이버리움 예방접종률 분석에서 이를 확인하였다.
• `ddMvnorm`에서 `robust = TRUE`를 사용한 강력한 추정은 오염 상황 하에서도 이론적 기준 분포의 신뢰성을 향상시켰으며, `alpha`는 공분산 추정치의 붕괴점(control)을 조절한다.