[논문 리뷰] Statistical dependence: Beyond Pearson's $ ho$

Dag Tjøstheim, Håkon Otneim외 1명|arXiv (Cornell University)|2018. 09. 27.

Financial Risk and Volatility Modeling참고 문헌 1인용 수 7

한 줄 요약

이 논문은 피어슨의 상관계수의 현대적 대체 방법을 조사하며, 비정규분포, 비선형성, 꼬리가 두꺼운 데이터에서의 한계를 극복하기 위해 코풀라, 거리 공분산, HSIC, 국소적 가우시안 상관계수(LGC)와 같은 측도를 중점적으로 다룬다. LGC는 국소적이고 적응적인 의존도 측도로서 비정규 분포 환경에서는 피어슨의 ρ보다 뛰어난 성능을 보이며, 정규 분포 환경에서도 강력한 성능을 유지한다.

ABSTRACT

Pearson's $\ ho$ is the most used measure of statistical dependence. It gives a complete characterization of dependence in the Gaussian case, and it also works well in some non-Gaussian situations. It is well known, however, that it has a number of shortcomings; in particular for heavy tailed distributions and in nonlinear situations, where it may produce misleading, and even disastrous results. In recent years a number of alternatives have been proposed. In this paper, we will survey these developments, especially results obtained in the last couple of decades. Among measures discussed are the copula, distribution-based measures, the distance covariance, the HSIC measure popular in machine learning, and finally the local Gaussian correlation, which is a local version of Pearson's $\ ho$. Throughout we put the emphasis on conceptual developments and a comparison of these. We point out relevant references to technical details as well as comparative empirical and simulated experiments. There is a broad selection of references under each topic treated.

연구 동기 및 목표

• 비정규, 비선형, 꼬리가 두꺼운 분포에서 피어슨의 ρ가 오해의 소지가 있는 결과를 낳을 수 있는 한계를 해결하기 위해.
• 코풀라 기반, 분포 기반, 국소적 접근 방식을 포함한 의존도 측도의 최근 발전을 검토하고 비교하기 위해.
• 국소적 가우시안 상관계수(LGC)가 유연하고 국소적인 전역 상관계수 대체 측도로서의 이점을 입증하기 위해.
• 통계적 검정 및 모델링에서 LGC 및 기타 현대적 의존도 측도를 사용하는 데 이론적 및 실증적 근거를 제공하기 위해.
• 시뮬레이션 연구에서 전통적 방법인 피어슨의 ρ와 거리 공분산(dcov)과 비교하여 LGC 기반의 독립성 검정의 성능을 평가하기 위해.

제안 방법

• 코풀라, 분포 기반 기능, 거리 공분산, HSIC, 국소적 가우시안 상관계수(LGC)와 같은 다수의 의존도 측도를 조사하고 비교하기 위해.
• LGC를 각 점 (x₁, x₂)에서 국소 가우시안 우도 근사에 의해 계산된 피어슨의 ρ의 국소적 버전으로 정의하여 국소 의존도 추정이 가능하도록 하기 위해.
• 국소 가우시안 우도를 사용해 국소 평균, 분산, 상관계수를 유도하며, 핵심 식은 ρ(x₁, x₂) = σ̂(x₁, x₂)/(σ̂₁(x₁)σ̂₂(x₂))이다.
• LGC를 기반으로 한 독립성 검정 기능을 개발하며, Tₙ,ᵦ = ∫ h(θ̂ₙ,ᵦ(x)) dFₙ(x)와 같이 h는 가측 함수이고 Fₙ는 경험 분포이다.
• LGC 기반 검정의 점근 이론을 시간적 시리즈 및 i.i.d. 설정에서 검증하기 위해 블록 부트스트랩 및 부트스트랩 방법을 적용하기 위해.
• 다중 레그에 대한 합 및 최댓값 통계량을 포함하도록 검정 기능을 확장하기 위해: Tₙ,ᵦ(sum) = ∑ₛ₁ˢ² Tₙ,ᵦ⁽ˢ⁾ 와 Tₙ,ᵦ(max) = maxₛ₁≤s≤s₂ |Tₙ,ᵦ⁽ˢ⁾|.

실험 결과

연구 질문

• RQ1 LGC, 거리 공분산, HSIC와 같은 현대적 의존도 측도가 비선형성 및 비정규성 의존도를 파악하는 데 피어슨의 ρ보다 어떻게 비교되는가?
• RQ2 이질적 또는 비타원형 데이터에서 국소적 가우시안 상관계수(LGC)가 전역 상관계수 측도보다 이론적 및 실증적 이점이 있는가?
• RQ3 비정규 및 꼬리가 두꺼운 분포에서 LGC 기반 검정 기능이 피어슨의 ρ 또는 dcov보다 의존도를 더 효과적으로 탐지할 수 있는가?
• RQ4 대칭성 성질(반사, 반사, 교환, 회전)이 LGC 및 그 추정에 어떻게 영향을 미치는가?
• RQ5 특히 블록 부트스트랩 및 점근 근사에서 LGC 기반 독립성 검정의 성능은 어떠한가?

주요 결과

• LGC 기반 검정은 비정규 분포 환경에서 피어슨의 ρ를 능가하며, 정규 분포 환경에서는 ρ가 최적임을 고려할 때도 강력한 성능을 유지한다.
• LGC 검정 기능, 특히 레그에 대한 최댓값 및 합 통계량은 시뮬레이션 실험에서 dcov보다 유리한 검정력을 보였다.
• LGC는 바람직한 대칭성 성질을 보인다: 반사, 반사, 교환, 회전 대칭성이 상관계수 추정에 그대로 유지된다.
• 국소 가우시안 상관계수는 애핀 변환에 대해 불변이다: ρ(Y₁,Y₂)(y₁,y₂) = ρ(α₁+β₁X₁,α₂+β₂X₂)(α₁+β₁x₁,α₂+β₂x₂).
• 블록 부트스트랩 포함한 부트스트랩 방법은 시간적 시리즈에서 LGC 기반 독립성 검정에 대해 점근 이론이 일관되게 유지됨을 검증하였다.
• 실증 및 시뮬레이션 실험은 LGC 기반 검정이 강건하고 효과적임을 확인하였으며, 특히 피어슨의 ρ가 실패하는 꼬리가 두꺼운 비선형 데이터에서 의존도를 탐지하는 데 뛰어난 성능을 보였다.