[논문 리뷰] Flexible modelling in statistics: past, present and future

Christophe Ley|arXiv (Cornell University)|2014. 09. 22.

Statistical Distribution Estimation and Applications참고 문헌 92인용 수 25

한 줄 요약

이 논문은 에지워스와 페어슨에서 현대의 비대칭성, 첨도, 이중성 분포까지의 유연한 통계 모델링의 역사적 발전을 추적하며 종합적인 개요를 제공한다. 비대칭성, 무거운 꼬리 또는 가벼운 꼬리, 이중성 등의 문제를 규명하고, 보편적인 융통성 있는 분포, 비유클리드적 지지집합, 향상된 정규성/대칭성 검정 등의 미래 연구 방향을 제시한다.

ABSTRACT

In times where more and more data become available and where the data exhibit rather complex structures (significant departure from symmetry, heavy or light tails), flexible modelling has become an essential task for statisticians as well as researchers and practitioners from domains such as economics, finance or environmental sciences. This is reflected by the wealth of existing proposals for flexible distributions; well-known examples are Azzalini's skew-normal, Tukey's $g$-and-$h$, mixture and two-piece distributions, to cite but these. My aim in the present paper is to provide an introduction to this research field, intended to be useful both for novices and professionals of the domain. After a description of the research stream itself, I will narrate the gripping history of flexible modelling, starring emblematic heroes from the past such as Edgeworth and Pearson, then depict three of the most used flexible families of distributions, and finally provide an outlook on future flexible modelling research by posing challenging open questions.

연구 동기 및 목표

• 비정규성 이론을 넘어서 복잡한 자료 구조, 예를 들어 비대칭성, 무거운 꼬리 또는 가벼운 꼬리, 다모드성을 반영할 수 있는 통계 모델의 증가하는 필요성을 다루기.
• 아자라린, 페어슨, 에지워스와 같은 통계학자들의 획기적인 기여를 강조하며, 융통성 있는 모델링의 역사적이고 개념적인 기초를 제공하기.
• 비대칭성과 비정규성을 반영할 수 있는 주요 융통성 있는 분포 가족—비대칭정규, 이중조각, 투키의 g-and-h—를 조사하고 비교하여 실제 자료에서 정규성과의 이탈을 모델링할 수 있는 능력을 강조하기.
• 미해결 연구 문제를 규명하고 프레임워크화하여 향후 융통성 있는 모델링의 발전을 이끌어내기, 특히 보편적인 모델 설계, 비유클리드적 지지집합, 향상된 정규성/대칭성 검정에 중점을 두기.

제안 방법

• 중심극한정리, 최대우도, 엔트로피 원리 등의 주요 역사적 발전을 통해 융통성 있는 모델링의 진화를 추적하며, 이는 과거에는 정규성을 정당화했지만 지금은 확장이 필요하다.
• 세 가지 주요 융통성 있는 분포 가족—아자라린의 비대칭정규, 투키의 g-and-h, 이중조각 분포—를 소개하고 분석하며, 각각 정규분포를 초월한 비대칭성과 첨도를 모델링하기 위해 설계되었다.
• 금융 수익률, 인터넷 트래픽, 체질량지수 분포 등의 실제 자료 사례를 통해 정규성의 실패와 융통성 있는 모델의 필요성을 입증한다.
• 미해결 연구 질문(OQCs)의 프레임워크를 제안하여 향후 연구를 이끌며, 보편적인 융통성 있는 분포의 탐색, 비표준 지지집합(예: 단위 초구면)에서의 모델링, 정규성 및 대칭성에 기반한 우도 기반 검정을 포함한다.
• 기존의 변환 접근법(SAS 등)과 비대칭화 메커니즘(Azzalini 유형 등) 또는 혼합 모델을 조합함으로써 모델의 융통성을 향상시키는 방법론적 융합을 제안한다.
• 정규성 및 대칭성 검정에서 유의력 향상을 위해 융통성 있는 가족 내에서의 우도비검정을 주장하며, 임계검정(Jarque-Bera) 및 샤피로-윌크 검정과 비교한다.

실험 결과

연구 질문

• RQ1 모든 다양한 자료 유형과 구조에 대한 실용적 모델링 수요를 충족시키는 단일 보편 융통성 있는 분포를 개발할 수 있는가?
• RQ2 현재 방법이 제한되어 있는 바탕으로, 단위 초구면이나 양의 실수와 같은 비유클리드적 지지집합으로 융통성 있는 모델링을 어떻게 확장할 수 있는가?
• RQ3 융통성 있는 가족에 기반한 우도비검정이 정규성 및 대칭성의 이탈을 탐지하는 데 있어 고전적 검정(예: Jarque-Bera, Shapiro-Wilk)보다 성능이 뛰어나게 될 수 있는가?
• RQ4 기존의 융통성 있는 모델링 기법—예를 들어 변환, 비대칭화, 혼합 구성—을 어떻게 효과적으로 조합하여 더 높은 형태의 융통성을 달성할 수 있는가?
• RQ5 융통성 있는 모델이 자료를 묘사하는 데 그치지 않고, 특히 정규성 및 대칭성 검정에서의 유의력과 강건성을 향상시키는 데 어떻게 활용될 수 있는가?

주요 결과

• 비정규성의 특성으로 인해 재정, 환경 과학, 건강 분야의 실제 자료에서는 정규분포가 종종 부적절하다. 비대칭성과 무거운 꼬리 또는 가벼운 꼬리가 주요 원인이다.
• 스토케스틱 프론티어 분석, 인터넷 트래픽, 체질량지수 자료는 비대칭성과 다모드성 등의 구조적 특성을 보이며, 이는 정규성 가정을 위반한다.
• 비대칭정규, 이중조각, 투키의 g-and-h 분포는 가장 널리 사용되는 융통성 있는 분포 가족에 속하며, 각각 비대칭성과 첨도를 서로 다른 방식으로 다룬다.
• SAS 변환과 이중조각 또는 아자라린 유형의 비대칭화를 조합함으로써, 개별 가족만으로는 달성할 수 없는 더 유연한 모델을 얻을 수 있다.
• 융통성 있는 가족에 기반한 우도비검정은 정규성 및 대칭성 검정에서의 검정력 향상 잠재력을 보이며, 특히 대안이 잘 정의된 경우에 유의미하다.
• 단위 초구면과 같은 지지집합으로 융통성 있는 모델링을 확장하는 것은 여전히 미해결 과제이며, 현재까지 k > 2인 경우에만 혼합 모델이 제안된 상태이다.