[논문 리뷰] Modeling, dependence, classification, united statistical science, many cultures

Emanuel Parzen, Subhadeep Mukhopadhyay|arXiv (Cornell University)|2012. 04. 20.

Financial Risk and Volatility Modeling참고 문헌 22인용 수 10

한 줄 요약

이 논문은 중간분포함수와 레지오드르다항식에서 유도된 정규수직스코어함수를 사용하여 소규모 및 대규모 데이터에서의 종속성 모델링을 위한 통합 프레임워크를 제안한다. 비모수적이고 분위수 기반의 종속성 측도인 LPINFOR를 제안하며, 비선형성과 꼬리 종속성을 포착할 수 있으며, 분류, 코풀라 밀도 추정, 조건부 모델링 등에 적용 가능하다. 기존 블랙박스 방법에 비해 계산 효율성이 뛰어나면서도, 전통적인 모수적, 알고리즘적, 정보이론적 통계 문화를 통합한다.

ABSTRACT

Breiman (2001) proposed to statisticians awareness of two cultures: 1. Parametric modeling culture, pioneered by R.A.Fisher and Jerzy Neyman; 2. Algorithmic predictive culture, pioneered by machine learning research. Parzen (2001), as a part of discussing Breiman (2001), proposed that researchers be aware of many cultures, including the focus of our research: 3. Nonparametric, quantile based, information theoretic modeling. We provide a unification of many statistical methods for traditional small data sets and emerging big data sets in terms of comparison density, copula density, measure of dependence, correlation, information, new measures (called LP score comoments) that apply to long tailed distributions with out finite second order moments. A very important goal is to unify methods for discrete and continuous random variables. Our research extends these methods to modern high dimensional data modeling.

연구 동기 및 목표

• 기존의 모수적 모델링, 알고리즘적 예측, 비모수적 분위수 기반 정보이론적 방법을 하나의 통계 과학 문화로 통합하기 위해.
• 이차모멘트가 유한하지 않아도 되는 비선형성과 무거운 꼬리 종속성을 포착할 수 있는 종속성 측도인 LPINFOR를 개발하기 위해.
• 코풀라 및 비교밀도의 정규수직시리즈 전개를 통해 마진, 결합, 조건부 분포의 해석 가능하고 데이터 적응형 모델링을 가능하게 하기 위해.
• 기계학습 방법의 블랙박스 성향을 피하면서도 데이터를 진단 도구인 LP 공모멘트와 조건부 정보 측도를 통해 '데이터를 바라보는' 계산 효율성이 높은 비블랙박스 대안을 제공하기 위해.

제안 방법

• 중간분포함수 $ F^{\text{mid}}(x;X) = F(x;X) - 0.5p(x;X) $ 로부터 정규수직스코어함수 $ T_j(x;X) $ 를 유도하고, 이를 $ (0,1) $ 에서 레지오드르다항식을 통해 근사한다.
• 분위수함수 $ Q(u;X) $ 와 스코어벡터 $ Sc(X) = (T_1(X;X), \dots, T_m(X;X)) $, $ Sco(X) = (X - \mathbb{E}[X], Sc(X)) $ 를 정의한다.
• 스코어벡터 $ Sc(X) $ 와 $ Sc(Y) $ 의 공분산으로서 LP 공모멘트 행렬 $ \operatorname{LP}(j,k;X,Y) $ 를 추정하며, 이는 종속성 측정의 기초가 된다.
• LPINFOR($ X,Y $) 는 가장 큰 LP 공모멘트들의 제곱합으로 정의되며, 비모수적 종속성 측도로 기능한다.
• 코풀라 밀도 및 비교밀도의 정규수직시리즈 전개를 LP 공모멘트를 기반으로 하되, AIC를 통한 모델 선택을 통해 데이터 적응형 복잡도를 확보한다.
• 베이즈 정리의 오즈 형태를 적용하여 조건부 비교밀도와 코풀라 밀도 간의 관계를 설정하고, 비모수적 방법으로 $ \mathbb{E}[Y|X] $, $ \mathbb{E}[T_k(Y;Y)|X] $, $ \operatorname{cop}(u,v;X,Y) $ 를 추정한다.

실험 결과

연구 질문

• RQ1 이산 및 연속 변수 간의 종속성을 꼬리 종속성과 비선형성을 포착할 수 있는 통합적 비모수적 방법으로 측정할 수 있는가?
• RQ2 이차모멘트가 유한하지 않아도 되는 장기 꼬리 분포에 대해 강건한 종속성 측도를 구성할 수 있는가?
• RQ3 정규수직스코어함수를 기반으로 한 정규수직시리즈 전개를 통해 코풀라 밀도와 조건부 기대값을 추정할 수 있는가?
• RQ4 LP 공모멘트는 이元분포가 아닌 종속성과 꼬리 행동을 진단하는 데 어떤 역할을 하는가?
• RQ5 이 프레임워크는 고차원 데이터에 어떻게 적응시킬 수 있으며, 해석 가능성과 계산 효율성을 유지할 수 있는가?

주요 결과

• LPINFOR 측도는 LP 공모멘트의 제곱합으로 추정되었으며, 분기 데이터에 대해 0.69의 값을 기록하여 강한 종속성을 나타내었고, 꼬리 집중 현상으로 인해 피어슨 상관계수는 0.9로 과대평가되었다.
• LP 공모멘트 행렬은 분기 데이터에서 명확한 꼬리 종속성 패턴을 드러내었으며, 점들이 왼쪽 아래와 오른쪽 위 모서리에 집중되어 있었고, 이는 기존 상관계수가 정확히 포착하지 못하는 현상이었다.
• AIC로 선택된 곱기저함수 $ S_j(X)S_k(Y) $ 를 사용한 코풀라 밀도 추정은 꼬리 종속성에 대해 놀랄 정도로 정확하고 완전한 그림을 제공하였으며, 수락-기각 샘플링을 통한 검증이 이루어졌다.
• 조건부 LPINFOR 표현 $ \operatorname{LPINFOR}(Y|X=Q(u;X)) $ 는 총 종속성을 위치별 기여도로 분해할 수 있었으며, 분위수 범위 전반에서 해석 가능한 진단이 가능했다.
• 이 프레임워크는 AIC를 통한 모델 선택을 통해 최적의 복잡도를 확보하면서도, 스코어함수의 선형조합을 통해 비모수적 회귀함수 $ \mathbb{E}[Y|X] $ 와 $ \mathbb{E}[T_k(Y;Y)|X] $ 를 성공적으로 추정하였다.
• LP 공모멘트의 선형조합으로서 $ \operatorname{Var}(X) $ 와 $ \operatorname{Cov}(X,Y) $ 의 새로운 표현식이 유도되었으며, 이는 비정규성 및 장꼬리 행동을 진단하는 데 기여하였다.