[논문 리뷰] Clustering using skewed multivariate heavy tailed distributions with flexible tail behaviour

Darren Wraith, Florence Forbes|arXiv (Cornell University)|2014. 08. 01.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 5

한 줄 요약

이 논문은 일반화된 하이퍼볼릭 분포의 다중 척도 확장을 사용하여, 각 차원에서 독립적인 꼬리 무게와 비대칭성 제어가 가능하면서도 상관관계를 유지하는 융통성 있는 다변량 군집화 프레임워크를 제안한다. 이 방법은 이러한 분포 혼합 모델의 모수 추정을 위한 EM 알고리즘을 활용하여, 표준 정규분포나 t-혼합 모델에 비해 비대칭적이고 꼬리가 무거운 데이터를 훨씬 더 잘 모델링한다.

ABSTRACT

The family of location and scale mixtures of Gaussians has the ability to generate a number of flexible distributional forms. It nests as particular cases several important asymmetric distributions like the Generalised Hyperbolic distribution. The Generalised Hyperbolic distribution in turn nests many other well known distributions such as the Normal Inverse Gaussian (NIG) whose practical relevance has been widely documented in the literature. In a multivariate setting, we propose to extend the standard location and scale mixture concept into a so called multiple scaled framework which has the advantage of allowing different tail and skewness behaviours in each dimension of the variable space with arbitrary correlation between dimensions. Estimation of the parameters is provided via an EM algorithm with a particular focus on NIG distributions. Inference is then extended to cover the case of mixtures of such multiple scaled distributions for application to clustering. Assessments on simulated and real data confirm the gain in degrees of freedom and flexibility in modelling data of varying tail behaviour and directional shape.

연구 동기 및 목표

• 표준 정규분포나 t-혼합 모델이 각 차원에서 꼬리 행동이 다양한 비대칭적이고 꼬리가 두꺼운 다변량 데이터를 다루는 데에 한계가 있다는 문제를 해결하기 위해.
• 각 차원에 대해 별도의 척도를 도입하여 위치 및 척도 혼합 정규분포 프레임워크를 확장함으로써, 각 변수에서 꼬리 무게와 비대칭성을 독립적으로 제어할 수 있도록 하기 위해.
• 이러한 다중 척도 프레임워크에서 정규역수감마(NIG) 분포 혼합 모델에 특화된 EM 알고리즘을 통해 강력한 추정 절차를 개발하기 위해.
• 금융, 지구과학, 신호 처리 분야에서 복잡한 근사분포 및 종속성 구조를 가진 실세계 데이터의 융통성 있는 군집화를 가능하게 하기 위해.
• 시뮬레이션과 실데이터 실험을 통해 모델이 방향성 형태와 꼬리 행동을 얼마나 잘 포착하는지 검증하기 위해.

제안 방법

• 각 차원에 고유한 척도 매개변수를 가진 다중 척도 위치 및 척도 혼합 정규분포를 제안하여, 각 차원에서 독립적인 꼬리 및 비대칭성 행동가능성을 제공한다.
• 비대칭성과 꼬리 무게를 모델링하기 위한 기초로 일반화된 하이퍼볼릭(GH) 분포 가족, 특히 정규역수감마(NIG) 분포를 사용한다.
• Q-함수의 반복 최적화를 통해 모든 모수(성분 평균, 공분산 행렬, 비대칭 벡터, 척도 매개변수)에 대해 닫힌 형태의 업데이트를 도출하는 EM 알고리즘을 유도한다.
• EM 업데이트 중 척도와 비대칭성 효과를 분리하기 위해 대각행렬 D_k와 변환된 매개변수 A_k, β_k를 사용하는 재매개변수화 기법을 도입한다.
• D_k 업데이트를 위해 추적 기반 최소화 기법을 적용하고, 수정된 Flury-Gautschi 알고리즘을 사용하여 정의된 양성과 수치적 안정성을 확보한다.
• 스케일 행렬 A_k의 추정을 안정화시키기 위해 α_k를 사용하는 로그우도 페널티 항을 도입하여 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 일반화된 하이퍼볼릭(GH) 분포의 다중 척도 확장이 표준 혼합 모델에 비해 비대칭적이고 꼬리가 두꺼운 다변량 데이터를 더 효과적으로 모델링할 수 있는가?
• RQ2 각 차원의 꼬리 및 비대칭성 제어를 허용함으로써, 복잡한 근사분포를 가진 실세계 데이터셋에서 군집화 성능이 향상되는가?
• RQ3 제안된 EM 알고리즘은 수렴성과 모수 추정 정확도 측면에서 기존 방법에 비해 어떻게 비교되는가?
• RQ4 이 모델은 고차원 데이터에서 방향성 형태와 꼬리 종속성 구조를 어느 정도 잘 포착할 수 있는가?
• RQ5 NIG 분포는 금융 및 지구과학 응용 분야에서 강력한 군집화를 위해 적합하고 실용적인 선택인가?

주요 결과

• 제안된 다중 척도 모델은 꼬리 행동이 다양하고 방향성 비대칭성이 있는 시뮬레이션 데이터에서 표준 정규분포 및 t-혼합 모델에 비해 군집화 성능을 크게 향상시킨다.
• EM 알고리즘이 안정적이고 효율적으로 수렴하며, 복잡한 비대칭성 및 척도 행렬을 포함한 모든 모수에 대해 닫힌 형태의 업데이트가 가능하다.
• 모델은 각 차원에서 독립적으로 꼬리가 두꺼운 비대칭 근사분포를 성공적으로 포착하여 금융 수익률 및 지구물리 신호와 같은 실세계 데이터에 더 나은 적합도를 제공한다.
• 카이제곱(χ(q)) 플롯을 활용한 경험적 평가 결과, 모델이 꼬리 종속성 구조를 정확히 포착함을 확인하였으며, 분위수 기반 종속성 측정치가 실제 데이터 특성을 잘 반영하고 있다.
• D_k 및 Â_k를 통한 재매개변수화 기법은 수치적 안정성을 보장하며, 고차원 설정에서 해석 가능한 모수 업데이트를 가능하게 하여 모델의 강건성을 향상시킨다.
• 금융 및 신호 처리 분야에서 데이터가 강한 비대칭성과 꼬리 무게를 가지는 경우에 실용적인 적용 가능성을 입증하였다.