[논문 리뷰] The Lambert Way to Gaussianize skewed, heavy tailed data with the inverse of Tukey's h transformation as a special case

Georg M. Goerg|arXiv (Cornell University)|2010. 10. 11.

Plant Water Relations and Carbon Dynamics참고 문헌 24인용 수 4

한 줄 요약

이 논문은 임의의 확률 변수의 무거운 尾 꼬리 분포를 생성할 수 있는 매개변수형, 전단사 변환인 라마르트의 W 함수를 소개한다. 이 변환은 꼬리 매개변수 δ ≥ 0를 도입함으로써 이루어지며, δ = 0일 경우 분포는 그대로 유지되고, δ > 0일 경우 더 두꺼운 꼬리가 나타난다. 정규분포 변수에 적용할 경우 투키의 h 분포로 축소되며, 꼬리 제거를 위한 명시적 역변환을 제공하고, 분포의 CDF와 PDF에 대해 분석적 표현을 제공한다. 이는 저자들의 지식에 비추어 볼 때, 문헌상에서 투키의 h PDF와 CDF에 대한 최초의 닫힌 형태 유도이다.

ABSTRACT

I present a parametric, bijective transformation to generate heavy tail versions Y of arbitrary RVs X ~ F. The tail behavior of the so-called 'heavy tail Lambert W x F' RV Y depends on a tail parameter delta >= 0: for delta = 0, Y = X, for delta > 0 Y has heavier tails than X. For X being Gaussian, this meta-family of heavy-tailed distributions reduces to Tukey's h distribution. Lambert's W function provides an explicit inverse transformation, which can be estimated by maximum likelihood. This inverse can remove heavy tails from data, and also provide analytical expressions for the cumulative distribution (cdf) and probability density function (pdf). As a special case, these yield explicit formulas for Tukey's h pdf and cdf - to the author's knowledge for the first time in the literature. Simulations and applications to S&P 500 log-returns and solar flares data demonstrate the usefulness of the introduced methodology. The R package LambertW (this http URL) implementing the presented methodology is publicly available at CRAN.

연구 동기 및 목표

• 임의의 확률 변수에 대해 꼬리 무게를 조절할 수 있는 민감한 매개변수형 변환을 개발하여, 전단사성을 유지하면서도 무거운 꼬리 분포를 생성하는 것.
• 투키의 h 분포의 확률밀도함수와 누적분포함수에 대한 분석적 표현이 부족한 문제를 해결하는 것.
• 역가능한 변환을 통해 데이터의 중량 있는 꼬리를 효과적으로 제거할 수 있는 방법을 제공하는 것.
• 투키의 h 분포를 더 넓은 분포 계열의 일부로 통합함으로써 그 적용 가능성을 확장하는 것.
• 비대칭적이고 꼬리가 두꺼운 데이터의 통계적 모델링을 위한 계산적으로 실현 가능하고 최대우도추정이 가능한 프레임워크를 제공하는 것.

제안 방법

• 꼬리 두께를 제어하는 매개변수 δ ≥ 0를 가진 변환 Y = T(X; δ)를 제안하며, δ = 0일 경우 원래 분포 X를 그대로 유지한다.
• 라마르트의 W 함수를 활용해 명시적인 역변환을 유도함으로써, 중량 있는 꼬리에서 원래 데이터로의 복원이 가능하도록 한다.
• 꼬리 매개변수 δ 및 기타 분포 매개변수를 추정하기 위해 최대우도추정법을 적용한다.
• 유도된 분포의 누적분포함수(CDF)와 확률밀도함수(PDF)에 대해 분석적 표현을 유도한다.
• X ~ N(0,1)일 경우, 유도된 분포가 투키의 h 분포로 축소됨을 보여준다.
• 실제 응용과 재현 가능성을 위해 CRAN에 공개된 R 패키지 LambertW를 통해 방법을 구현한다.

실험 결과

연구 질문

• RQ1 임의의 확률 변수에 대해 단일 꼬리 매개변수를 사용해 일반적이고 전단사인 변환을 구성할 수 있는가?
• RQ2 이 변환의 역변환이 실제 세계 데이터의 중량 있는 꼬리를 효과적으로 제거할 수 있는가?
• RQ3 이 프레임워크를 통해 투키의 h 분포의 PDF와 CDF에 대해 명시적인 분석적 표현을 도출할 수 있는가?
• RQ4 이 방법은 금융 수익률 및 태양 플레어와 같은 실제 비대칭적이고 꼬리가 두꺼운 데이터를 모델링하는 데 얼마나 잘 작동하는가?
• RQ5 제안된 방법은 최대우도추정에 적합하고 통계 소프트웨어에서 실용적으로 구현 가능한가?

주요 결과

• 라마르트의 W 변환은 단일 꼬리 매개변수 δ ≥ 0를 통해 임의의 확률 변수 X의 중량 있는 꼬리 분포를 성공적으로 생성한다.
• δ > 0일 경우, 유도된 분포 Y는 원래 분포 X보다 더 두꺼운 꼬리를 가지며, 꼬리의 두께는 δ에 의해 제어된다.
• X가 정규분포일 경우, 유도된 분포는 투키의 h 분포로 축소되며, 이 방법은 그 PDF와 CDF에 대해 문헌상 최초로 알려진 닫힌 형태의 분석적 표현을 제공한다.
• 역변환을 통해 중량 있는 꼬리의 과잉을 제거함으로써 효과적인 노이즈 제거가 가능하며, 정규화에 기여한다.
• 시뮬레이션과 S&P 500 수익률 및 태양 플레어 데이터와 같은 실제 데이터 적용을 통해 방법의 강건성과 실용적 유용성을 확인하였다.
• CRAN에 공개된 R 패키지 LambertW를 통해 제안된 방법론을 재현 가능하고 확장 가능한 방식으로 구현할 수 있다.