[논문 리뷰] Two Procedures for Robust Monitoring of Probability Distributions of Economic Data Streams induced by Depth Functions

Daniel Kosiorowski|arXiv (Cornell University)|2014. 05. 01.

Advanced Statistical Methods and Models참고 문헌 21인용 수 4

한 줄 요약

이 논문은 깊이 함수를 사용하여 경제 데이터 스트림의 조건부 및 비조건부 확률 분포를 모니터링하기 위한 두 가지 강건하고 사용자 친화적인 절차를 제안한다. 이 방법들은 이상치와 내재된 이질값에 대해 강건하면서도 제도 전환에 민감하게 반응하며, R 패키지 DepthProc를 통해 구현 가능하다.

ABSTRACT

Data streams (streaming data) consist of transiently observed, evolving in time, multidimensional data sequences that challenge our computational and/or inferential capabilities. In this paper we propose user friendly approaches for robust monitoring of selected properties of unconditional and conditional distribution of the stream basing on depth functions. Our proposals are robust to a small fraction of outliers and/or inliers but sensitive to a regime change of the stream at the same time. Their implementations are available in our free R package DepthProc.

연구 동기 및 목표

• 시간에 따라 변화하는 임시적인 다변량 경제 데이터 스트림의 진화하는 분포를 모니터링하는 데 도전 과제를 해결한다.
• 작은 비율의 이상치나 내재된 이질값이 존재하더라도 효과적으로 작동하는 강건한 통계 절차를 개발한다.
• 데이터 스트림의 분포적 성질에서의 제도 전환에 민감하게 반응하도록 보장한다.
• 비조건부 및 조건부 분포의 실시간 모니터링을 위한 실용적이고 사용자 친화적인 도구를 제공한다.
• 넓은 접근성과 재현 가능성을 위해 무료로 이용 가능한 R 패키지 DepthProc를 통해 구현을 가능하게 한다.

제안 방법

• 관측치가 분포 내에서 중심성(centrality)을 평가하기 위해 데이터 깊이 함수를 활용하여 다변량 분석의 강건성을 확보한다.
• 시간에 따라 데이터 스트림의 위치와 산란도의 변화를 모니터링하기 위해 깊이 기반 순위 통계량을 적용한다.
• 기본 분포의 이탈을 탐지하기 위해 깊이 가중 추정치를 기반으로 한 제어도를 구성한다.
• 예측 변수 또는 시간 인덱스와의 관계를 모델링하여 깊이 함수를 조건부 모니터링에 통합한다.
• 극단적 값의 영향을 최소화하기 위해 깊이 함수에서 유도된 강건한 위치 및 산란 추정치를 활용한다.
• 이 절차들을 R 패키지 DepthProc에 구현하여 연구자들이 쉽게 사용하고 재현 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 함수는 실시간으로 스트리밍되는 경제 데이터의 비조건부 분포를 효과적으로 어떻게 모니터링할 수 있는가?
• RQ2 깊이 기반 방법은 이상치와 내재된 이질값에 대해 강건하면서도 제도 전환을 얼마나 잘 탐지할 수 있는가?
• RQ3 예측 변수 또는 시간에 따라 변하는 요인이 존재할 때 깊이 함수를 사용하여 조건부 분포 모니터링을 어떻게 달성할 수 있는가?
• RQ4 클래식한 방법과 비교했을 때 깊이 기반 제어도는 분포 이탈 탐지 성능이 어떻게 되는가?
• RQ5 경제 데이터 분석 워크플로우에서 깊이 기반 강건한 모니터링을 어떻게 실용적으로 구현할 수 있는가?

주요 결과

• 제안된 깊이 기반 절차는 이상치 및 내재된 이질값에 의한 오염에도 불구하고 진정된 제도 전환에 대한 민감성을 유지하면서 강건한 성능을 보였다.
• 이 방법들은 정규분포나 비대칭 분포 조건에서도 다변량 데이터 스트림의 위치 및 산란도의 이탈을 성공적으로 탐지할 수 있었다.
• 오염 조건 하에서 기존의 다변량 제어도보다 깊이 함수 기반 제어도가 분포 변화 탐지 성능에서 향상된 것으로 나타났다.
• R 패키지 DepthProc에 구현된 절차는 낮은 계산 오버헤드로 실시간, 사용자 친화적인 경제 데이터 스트림 모니터링을 가능하게 했다.
• 실증 결과는 깊이 기반 모니터링이 구조적 붕괴를 탐지할 때 높은 통계적 검정력을 유지하면서도 거짓 경고 비율을 잘 통제함을 확인했다.
• 조건부 모니터링 확장 기능은 예측 변수에 따라 변화하는 분포 변화를 동적으로 평가할 수 있게 하여 고도화된 경제계량 모델링에의 적용 가능성을 높였다.