[논문 리뷰] LP Mixed Data Science : Outline of Theory

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|2013. 11. 04.

Statistical Methods and Inference참고 문헌 15인용 수 3

한 줄 요약

이 논문은 연속형과 이산형 변수를 동시에 다루는 비모수적 모델링을 위한 통합 프레임워크인 LP 혼합 데이터 과학을 소개한다. 이 프레임워크는 중간분포 변환에서 유도된 정규직교 레지오르드 유사 스코어 함수를 사용하며, 이를 통해 코풀라 밀도, 조건부 비교 밀도, 의존성 구조의 강건한 추정이 가능하다. LP 공모멘트를 통해 소규모 및 대규모 데이터 분석, 분류, 이표본 추론을 통합하는 하나의 이론적이고 알고리즘적인 접근법을 제공하며, 우아한 통계적 성질을 지닌다.

ABSTRACT

This article presents the theoretical foundation of a new frontier of research-`LP Mixed Data Science'-that simultaneously extends and integrates the practice of traditional and novel statistical methods for nonparametric exploratory data modeling, and is applicable to the teaching and training of statistics. Statistics journals have great difficulty accepting papers unlike those previously published. For statisticians with new big ideas a practical strategy is to publish them in many small applied studies which enables one to provide references to work of others. This essay outlines the many concepts, new theory, and important algorithms of our new culture of statistical science called LP MIXED DATA SCIENCE. It provides comprehensive solutions to problems of data analysis and nonparametric modeling of many variables that are continuous or discrete, which does not yet have a large literature. It develops a new modeling approach to nonparametric estimation of the multivariate copula density. We discuss the theory which we believe is very elegant (and can provide a framework for United Statistical Algorithms, for traditional Small Data methods and Big Data methods).

연구 동기 및 목표

• 소규모 데이터와 현대적 대규모 데이터 접근법을 연결하는 혼합형 데이터 유형(연속형 및 이산형)에 대한 통합된 이론적 기반을 개발하는 것.
• 혼합형 데이터 환경에서 다변량 코풀라 밀도의 비모수적 추정에 대한 통일된 프레임워크가 부족한 문제를 해결하는 것.
• 중간분포 함수와 정규직교 스코어 다항식을 기반으로 한 단일 통계 문화 아래에서 분류, 이표본 추론, 의존성 모델링을 통합하는 것.
• 특히 희소성, 고차원성 또는 혼합형 데이터에 대해 기존 방법의 이론적으로 우아하고 실용적으로 실행 가능한 대안을 제공하는 것.
• 고전 통계, 머신러닝, 데이터 과학를 공통 수학적 구조를 통해 통합하는 통일된 통계 알고리즘의 기초를 마련하는 것.

제안 방법

• 중간분포 변환 $ F^{\text{mid}}(X;X) $ 의 거듭제곱에 대해 그램-슈미트 정규직교화를 통해 정규직교 스코어 함수 $ T_j(x;X) $ 를 구성하고, 이를 $ S_j(u;X) = T_j(Q(u;X);X) $ 를 통해 분위수 함수로 매핑한다.
• 연속형 $ X $ 에 대해 $ (0,1) $ 에서의 정규직교 레지오르드 다항식 $ \operatorname{Leg}_j(u) $ 을 스코어 함수로 사용: $ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $ 로서 비모수적 모델링을 위한 기저를 형성한다.
• 조건부 확률 $ \Pr[Y=1|X=x] $ 를 이러한 정규직교 스코어 함수의 선형 조합으로 모델링하여, 모수적 형태를 가정하지 않는 비모수적 로지스틱 회귀를 가능하게 한다.
• LP 표현식을 사용해 코풀라 밀도를 추정: $ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $, 여기서 $ \operatorname{LP}(j,k;X,Y) $ 는 LP 공모멘트이다.
• 의존성 모델링과 조건부 분위수 시뮬레이션을 위해 조건부 비교 밀도 $ d(v;Y,Y|X=Q(u;X)) = \operatorname{ComPr}[Y=Q(v;Y)|X=Q(u;X)] $ 를 사용한다.
• LPINFOR 압축 적용: $ \operatorname{LPINFOR}(X_m,Y) $ 를 기준으로 특징의 순위를 매겨 고차원 분류에서 가장 정보가 많은 예측 변수를 식별한다.

실험 결과

연구 질문

• RQ1 소규모 및 대규모 데이터 환경에서 혼합형 연속형 및 이산형 변수를 다룰 수 있는 통합 통계 프레임워크를 어떻게 개발할 수 있는가?
• RQ2 중간분포 변환에서 유도된 정규직교 스코어 함수는 기존의 모수적 또는 비모수적 모델에 비해 더 강건하고 유연한 대안이 될 수 있는가?
• RQ3 정규직교 다항식 기저를 사용해 혼합형 데이터 설정에서 코풀라 밀도를 어떻게 비모수적으로 추정할 수 있는가?
• RQ4 비교 밀도와 베이즈 규칙은 혼합형 변수 간의 의존성 모델링에서 어떤 역할을 하는가?
• RQ5 LP 공모멘트와 LPINFOR는 고차원 분류 작업에서 가장 예측력 있는 특징을 어떻게 식별하는가?

주요 결과

• 중간분포 함수 $ F^{\text{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ 는 연속적이고 순위 기반의 변환을 제공하여 이산형과 연속형 데이터 처리를 통합한다.
• 연속형 $ X $ 에 대해 정규직교 스코어 함수 $ S_j(u;X) = \operatorname{Leg}_j(F(x;X)) $ 는 $ \Pr[Y=1|X=x] $ 를 이러한 함수의 선형 조합으로 비모수적으로 모델링할 수 있도록 기저를 형성한다.
• 코풀라 밀도의 LP 표현식 $ \operatorname{cop}(u,v;X,Y) - 1 = \sum_{j,k>0} \operatorname{LP}(j,k;X,Y) S_j(u;X) S_k(v;Y) $ 는 데이터 기반의 비모수적 의존성 구조 추정을 가능하게 한다.
• LPINFOR 통계량 $ \operatorname{LP}(1,1;X,Y) $ 는 독립성 하에서 渐近적으로 표준정규분포를 따르며, 윌콕슨 순위합 검정과 동일하여 강건한 의존성 측정 기준이 된다.
• 조건부 비교 밀도 $ d(v;Y,Y|X=Q(u;X)) $ 는 조건부 분위수의 시뮬레이션과 혼합형 데이터의 의존성 모델링을 가능하게 하며, 비교 확률을 통해 베이즈 규칙과 직접 연결된다.
• 이 프레임워크는 정규직교 스코어 함수를 통한 $ X $ 가 주어진 조건에서 $ Y=1 $ 의 조건부 확률을 모델링함으로써 통합된 이표본 추론과 분류를 가능하게 하며, 모수적 형태에 대한 가정을 피한다.