[논문 리뷰] Toward a generic representation of random variables for machine learning

Gautier Marti, Philippe Very외 1명|arXiv (Cornell University)|2015. 06. 02.

Time Series Analysis and Forecasting참고 문헌 26인용 수 3

한 줄 요약

이 논문은 의존성과 분포를 정보 손실 없이 분리하면서도 모든 정보를 유지하는 일반적인 비모수적 랜덤 변수 표현 방식을 제안한다. 이를 통해 분포와 의존성을 동시에 반영하는 새로운 거리 척도(GNPR)를 도입하여, 특히 금융 채권 디폴트 스왑 수익률과 같은 i.i.d. 시간열에 적용했을 때, 기존의 수익률에 대한 표준 L2 거리보다 훨씬 더 안정적이고 균일한 군집화 결과를 도출한다. 조정된 랜드 지수(ARI)는 0.85 vs. 0.64를 기록한다.

ABSTRACT

This paper presents a pre-processing and a distance which improve the performance of machine learning algorithms working on independent and identically distributed stochastic processes. We introduce a novel non-parametric approach to represent random variables which splits apart dependency and distribution without losing any information. We also propound an associated metric leveraging this representation and its statistical estimate. Besides experiments on synthetic datasets, the benefits of our contribution is illustrated through the example of clustering financial time series, for instance prices from the credit default swaps market. Results are available on the website www.datagrapple.com and an IPython Notebook tutorial is available at www.datagrapple.com/Tech for reproducible research.

연구 동기 및 목표

• i.i.d. 확률과정에 대해 의존성과 분포를 동시에 모델링하는 기계학습 호환 전처리 및 거리 척도를 개발하는 것.
• 특히 재표본화 또는 변형에 취약한 금융 시간열에서 군집 결과의 불안정성을 해결하는 것.
• 기존의 분포 또는 의존성 전용 거리 척도에 대한 수학적으로 탄탄한 비모수적 대안을 제공하는 것.
• 합성 데이터 및 실제 금융 시간열(예: 채권 디폴트 스왑 가격)에서 개선된 군집화 성능을 입증하는 것.
• www.datagrapple.com에서 공개된 코드와 실험 결과를 통해 재현 가능한 연구를 가능하게 하는 것.

제안 방법

• 코퓰라 이론의 스카르 정리에 영감을 얻어, 정보 손실 없이 의존성과 균일분포를 분리하는 비모수적 랜덤 변수 표현 방식을 제안한다.
• 분포와 의존성 정보를 매개변수 θ ∈ [0,1]을 통해 조합하는 일반화된 비모수적 표현(GNPR) 거리 척도를 도입한다. 여기서 θ=0일 땐 순수 분포, θ=1일 땐 순수 의존성에 해당한다.
• 실제 데이터를 다루기 위해 순위 기반 및 경험적 누적분포함수 기법을 활용해 GNPR 거리의 경험적 추정을 수행한다.
• 랜덤 워크 가정 하에 시간열의 가격 변화량이 i.i.d.라고 가정하고, 특히 채권 디폴트 스왑에 대해 GNPR 거리를 적용한다.
• Ward의 방법, k-means++ 등의 표준 군집 알고리즘을 GNPR 거리와 함께 사용하여 분할 안정성과 균일성 평가를 수행한다.
• 재표본화(홀수/짝수 거래일)를 통한 검증 및 조정된 랜드 지수(ARI)를 사용한 안정성 비교를 수행한다.

실험 결과

연구 질문

• RQ1 의존성과 분포를 분리하는 통합된 랜덤 변수 표현 방식이 i.i.d. 시간열에서 군집화 성능을 향상시킬 수 있는가?
• RQ2 분포와 의존성을 통합한 GNPR 거리 척도가 수익률에 대한 표준 L2 거리 척도에 비해 군집 안정성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 체중 꼬리 분포를 보이는 금융 시간열(예: 채권 디폴트 스왑)에서 더 균일하고 안정적인 군집을 도출하는가?
• RQ4 GNPR에서의 매개변수 θ가 분포 기반과 의존성 기반 군집화 간의 조정에 얼마나 효과적인가?
• RQ5 GNPR 기반 군집화가 거래일 재표본화와 같은 소규모 변형에 대해 강건한가?

주요 결과

• 분포와 의존성을 균형 있게 반영하는 GNPR 거리 척도(θ=0.5)는 CDS 데이터에서 조정된 랜드 지수(ARI) 0.85를 기록했으며, 이는 수익률에 대한 L2 거리 척도의 0.64보다 유의미하게 높은 성능을 보였다.
• GNPR θ=0.5를 사용한 군집화 결과는 홀수와 짝수 거래일 간에 매우 안정적인 분할을 보였으며, 군집 재할당이 최소한이었고, 이는 변형에 대한 강건성을 시사한다.
• GNPR θ=0.0로 도출된 네 개의 군집은 CDS 데이터셋에서 관측된 표준편차의 다중모드 경험분포와 정확히 일치하여, 분포 차이에 대한 민감성을 확인했다.
• GNPR θ=1.0 거리 행렬은 CDS 수익률에 계층적인 상관관계 구조를 드러내었으며, 지역(미국, 유럽, 일본), 신용등급( investment grade 대비 하이예일), 산업 부문별로 그룹화되어 있었다.
• 합성 데이터에 대해서도 분포 및 의존성 구조를 잘 포착해 더 세밀하고 의미 있는 분할을 이끌어내어 뛰어난 성능을 보였다.
• 결과는 재현 가능했으며, www.datagrapple.com에서 전체 코드와 실험 세부사항을 공개했다.