[논문 리뷰] Visualizing Dependence in High-Dimensional Data: An Application to S&P 500 Constituent Data

Marius Hofert, Wayne Oldford|arXiv (Cornell University)|2016. 09. 29.

Complex Systems and Time Series Analysis참고 문헌 1인용 수 5

한 줄 요약

이 논문은 2007–2008년 금융위기 기간 동안 S&P 500 구성 종목 수익률에 특히 적용된 고차원 데이터 내의 의존성 탐지 및 시각화를 위한 새로운 시각화 도구인 zenpath와 zenplot을 소개한다. 상하 꼬리 의존성, 상관계수, 켄달의 타우와 같은 다양한 의존성 측정법을 사용하여, 압축되고 순서가 정렬된 그래픽 표현 방식을 통해 이중 관계를 효율적으로 탐색할 수 있도록 한다. 모든 방법은 R 패키지 zenplots에 구현되어 있으며, SP500 데모를 통해 재현 가능하다.

ABSTRACT

The notion of a zenpath and a zenplot is introduced to search and detect dependence in high-dimensional data for model building and statistical inference. By using any measure of dependence between two random variables (such as correlation, Spearman's rho, Kendall's tau, tail dependence etc.), a zenpath can construct paths through pairs of variables in different ways, which can then be laid out and displayed by a zenplot. The approach is illustrated by investigating tail dependence and model fit in constituent data of the S&P 500 during the financial crisis of 2007-2008. The corresponding Global Industry Classification Standard (GICS) sector information is also addressed. Zenpaths and zenplots are useful tools for exploring dependence in high-dimensional data, for example, from the realm of finance, insurance and quantitative risk management. All presented algorithms are implemented using the R package zenplots and all examples and graphics in the paper can be reproduced using the accompanying demo SP500.

연구 동기 및 목표

• 시장 급변기인 2007–2008년 금융위기와 같은 기간 동안 고차원 금융 데이터 내 의존성을 탐지하고 시각화하는 데 도전하는 것.
• S&P 500 구성 종목과 같은 수백 개의 자산 간 이원 의존성 구조를 탐색하기 위한 확장 가능하고 해석 가능한 방법 개발.
• 전통적인 산점도 매트릭스가 비현실적이게 되는 고차원 환경에서 모델 평가, 선택, 비판을 지원하는 그래픽 프레임워크 제공.
• 상하 꼬리 의존성, 상관계수, 순위 상관계수와 같은 의존성 측정법을 통합하여 zenpath와 zenplot을 활용한 통합적이고 상호작용 가능한 시각화 경로 구축.

제안 방법

• zenpath 방법은 사용자가 정의한 의존성 측정법(예: 스피어만의 ρ, 켄달의 타우, 꼬리 의존성 계수 등)에 기반하여 이원 변수 쌍의 순서를 구성한다.
• zenplot은 이러한 이원 그림을 진동형 레이아웃으로 정렬하여 연속된 그림 간에 공통 변수가 공유되도록 하여 고차원 의존성 구조를 효율적으로 탐색할 수 있도록 한다.
• 의존성은 비모수 추정기법을 사용하여 평가되며, 표준화된 잔차의 의사관측치로부터 유도된 조건부 스피어만의 ρ를 통한 상하 꼬리 의존성 추정이 포함된다.
• 이 접근법은 다변량 코풀라 구조 내 꼬리 의존성을 추정하기 위해 코풀라-GARCH 프레임워크를 사용하며, 마진 동역학은 ARMA(1,1)–GARCH(1,1) 모델로 모델링한다.
• S&P 500 데이터셋(505개 구성 종목)에서의 결측치는 R의 na.fill 함수를 사용하여 선형 보간법과 경계 연장('extend' 방법)을 통해 처리되었으며, 결측률 ≤20%인 465개 종목을 유지하였다.
• 모든 시각화 및 분석은 R 패키지 zenplots 내의 SP500 데모를 통해 재현 가능하며, 기본 R, grid, ggplot2 등 다양한 그래픽 백엔드를 지원한다.

실험 결과

연구 질문

• RQ1 기존의 산점도 매트릭스가 비현실적이게 되는 고차원 금융 데이터 내 의존성 구조(예: S&P 500 구성 종목 수익률)를 효과적으로 어떻게 시각화할 수 있는가?
• RQ2 어느 의존성 측정법(예: 꼬리 의존성, 상관계수, 순위 상관계수)이 금융 위기 기간 동안 고차원 데이터 내 주요 패턴을 가장 잘 드러내는가?
• RQ3 zenplots와 zenpaths는 고차원 코풀라-GARCH 모델에서 모델 비판 및 선택을 얼마나 효과적으로 지원할 수 있는가?
• RQ4 큰 데이터셋에서 가장 관련성이 높은 이원 의존성만을 강조할 수 있도록 그래픽 도구를 어떻게 설계할 수 있는가? 이는 시각적 혼잡을 줄이면서도 해석 가능성을 유지해야 한다.

주요 결과

• 2007–2009년 기간의 S&P 500 구성 종목 데이터(756일 관측치, 465개 주식)는 ARMA(1,1)–GARCH(1,1) 모델을 사용하여 처리되었으며, 표준화된 잔차를 활용해 이원 꼬리 의존성 추정이 이루어졌다.
• 비모수 추정을 통해 조건부 스피어만의 ρ를 사용한 상부 꼬리 의존성 평가에서, 특히 금융 부문에서 이원 분포의 상부 우측 꼬리에 뚜렷한 꼬리 의존성이 확인되었다.
• zenplot 레이아웃은 이원 상부 꼬리 의존성 계수 매트릭스를 성공적으로 시각화하였으며, 총 107,835개 요소의 밀도 그래프는 우측으로 치우친 분포를 보여, 강한 꼬리 의존성을 보이는 쌍의 비율이 제한적임을 시사했다.
• 이 방법은 효과적인 그래픽 모델 평가를 가능하게 하였다: zenplots 내 Q-Q 플롯을 통해 동일한 자유도 파rameter를 가진 단일 다변량 t 코풀라 모델은 데이터에 의해 완전히 지지되지 않음을 확인하였으며, 이는 모델의 한계를 시사했다.
• zenpath 접근법은 의존성 측정법에 따라 그림의 우선순위를 정함으로써 주요 의존성 패턴을 식별할 수 있었으며, 이로 인해 시각적 과부하를 줄이고 핵심 관계를 부각시켰다.
• R 패키지 zenplots 내의 구현(포함된 SP500 데모)은 완전한 재현 가능성을 보장하며, ggplot2 통합 및 loon을 통한 동적 플로팅을 포함한 탄력적인 커스터마이제이션을 지원한다.