[논문 리뷰] United Statistical Algorithm, Small and Big Data: Future OF Statistician

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|2013. 08. 02.

Statistical Methods and Inference참고 문헌 25인용 수 9

한 줄 요약

이 논문은 소규모 및 대규모 데이터, 특히 혼합 이산-연속 데이터를 위한 기존 통계 방법과 현대 통계 방법을 종합적으로 통합한 United Statistical Algorithms (USA) 프레임워크를 소개한다. 중분포 변환, 정규직교 스코어 함수(LP 공모멘트) 및 조건부 평균과 분위수 함수의 비모수적 추정을 활용하여, 이 프레임워크는 스케일러블하고 이론적으로 탄탄한 모델링을 가능하게 하며, 상관관계, 회귀, 분류, 가설 검정을 하나의 일관된 체계 안에서 통합한다.

ABSTRACT

This article provides the role of big idea statisticians in future of Big Data Science. We describe the `United Statistical Algorithms' framework for comprehensive unification of traditional and novel statistical methods for modeling Small Data and Big Data, especially mixed data (discrete, continuous).

연구 동기 및 목표

• 기존의 통계 방법과 신규 통계 방법을 소규모 및 대규모 데이터를 위한 단일이고 일관된 프레임워크로 통합하는 것.
• 비모수적 방법을 사용하여 고차원 환경에서 이산형과 연속형 데이터 유형을 혼합으로 다루는 과제를 해결하는 것.
• 이론적으로 탄탄하면서도 실용적인 데이터 과학 응용을 가능하게 하며 통계적 엄밀성을 유지하는 스케일러블한 접근법을 제공하는 것.
• 상관관계, 회귀, 가설 검정, 분류와 같은 핵심 통계 도구들이 중분포 및 정규직교 스코어 함수를 기반으로 하는 통합 프레임워크에서 유도될 수 있음을 보여주는 것.
• 통계 전문가가 데이터 과학에서 유일무이한 가치를 지닌 협업자로 자리매김할 수 있도록, 통계적 요법의 조리법적 적용보다 깊이 있는 방법론적 이해를 강조하는 것.

제안 방법

• 중분포 변환 $F^{\text{mid}}(x;X) = F(x;X) - 0.5p(x;X)$을 사용하여 랜덤 변수를 비모수적으로 표준화함으로써, 혼합 데이터 유형 간 일관된 모델링을 가능하게 한다.
• 중분포의 레지나 다항식에서 유도된 정규직교 스코어 함수 $T_j(X;X)$를 활용하여, $\operatorname{LP}(j,k;X,Y) = \mathbb{E}[T_j(X;X)T_k(Y;Y)]$를 기반으로 한 LP 공모멘트를 구성한다.
• 비교 밀도의 정규직교 급수 전개를 사용하여 조건부 평균 $\mathbb{E}[Y|X=x]$ 및 조건부 분위수 $Q(u;Y|X=x)$를 비모수적으로 추정한다: $\widehat{d}(u) = 1 + \sum_k C_k S_k(u;Y)$.
• 데이터 기반의 모델 복잡도를 확보하기 위해, 급수 추정기에서 최적의 계수 $C_k$를 결정하기 위해 AIC 유사 모델 선택 기법을 적용한다.
• 비교 밀도 $d(v;Y,Y|X=1)$에서 유도된 분류 규칙을 $\Pr[X=1|Y=y]/\Pr[X=1] = d(v;Y,Y|X=1)$ 형태로 유도하며, 여기서 $v = F^\text{mid}(y;Y)$ 이므로, 변환된 데이터 기반의 확률적 할당이 가능하다.
• 기존의 검정(예: 스튜던트 t검정, 윌코크슨 검정)을 $\mathcal{Z}$-스코어 또는 중앙순위 공간에서의 상관관계의 특수한 경우로 재해석하여, 통합 프레임워크 하에서의 등가성을 보여준다.

실험 결과

연구 질문

• RQ1 기존의 통계 방법과 현대 통계 방법을 소규모 및 대규모 데이터에 대해 비모수적 프레임워크로 통합할 수 있는가?
• RQ2 중분포 및 중분위수 변환은 어떻게 혼합 이산-연속 데이터의 일관된 모델링을 가능하게 하는가?
• RQ3 LP 공모멘트 및 정규직교 스코어 함수는 조건부 평균, 분위수 및 비교 밀도 추정의 기초로 어떻게 작용하는가?
• RQ4 기존의 가설 검정(예: t검정, 윌코크슨 순위합 검정)은 통합된 통계 프레임워크 내에서 상관관계 기반 측정으로 재해석될 수 있는가?
• RQ5 이 프레임워크는 파라미터 가정이나 변수 선택 히وري스틱에 의존하지 않고도 스케일러블하고 고차원의 분류 및 로지스틱 회귀를 지원할 수 있는가?

주요 결과

• 모델링이 중분포 변환을 통해 이루어질 때 조건부 평균 추정이 유지됨을 증명하기 위해 $\mathbb{E}[Y|X] = \mathbb{E}[Y|F^\text{mid}(X;X)]$ 라는 식이 수립된다.
• 확률 1의 확률로 $Q(F(X;X);X) = X$ 라는 항등식이 성립함을 확인하여, 중분포 변환이 분포적 측면에서 원래 데이터의 구조를 유지함을 입증한다.
• 기존의 t검정과 윌코크슨 순위합 검정은 각각 $\mathcal{Z}$-스코어 또는 중앙순위 공간에서 $R / \sqrt{1 - R^2}$ 및 $\operatorname{LP}(1,1;X,Y)$로 표현되며, 이는 통합 프레임워크 하에서 등가임을 보여준다.
• 조건부 평균은 $\mathbb{E}[Y|X] = \sum_j C_j T_j(X;X)$ 로 추정되며, 여기서 $T_j$ 는 $F^\text{mid}(X;X)$ 의 레지나 다항식에서 유도된 정규직교 스코어 함수이다.
• 고차원 분류는 비교 밀도 $d(v;Y,Y|X=1)$ 를 정규직교 급수로 추정함으로써 달성되며, 계수 $C_k$ 는 AIC 유사 모델 선택 기법을 통해 선정된다.
• 로지스틱 회귀는 스코어 함수 공간에서의 모델로 재해석되며, $\log\text{odds}(\Pr[X=1|Y=y]) = \sum_k \beta_k T_k(y;Y)$ 로 표현되며, 여기서 $\beta_k$ 는 LP 공모멘트로부터 유도된다.