[논문 리뷰] Nonparanormal Information Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|2017. 02. 24.

Statistical Methods and Inference참고 문헌 29인용 수 8

한 줄 요약

이 논문은 비정규 분포에 대한 강건성과 고차원 설정에서의 확장성을 균형 있게 확보하기 위해 알려지지 않은 누적분포함수 변환을 갖는 가우시안 코퓰라로 데이터를 모델링함으로써 비정규 가우시안 정보 추정기를 제안한다. 이 방법은 순위 기반 상관관계 측도(Spearman의 rho 및 Kendall의 tau)를 사용하여 비정규 가우시안 가정 하에 상호정보량을 추정하며, $ olimits\|Σ^{-1}\|_2^2 D^2 / n$ 의 최적 수렴 속도를 달성하고 실제 적용에서 가우시안 추정기와 비모수 추정기 모두를 능가한다.

ABSTRACT

We study the problem of using i.i.d. samples from an unknown multivariate probability distribution $p$ to estimate the mutual information of $p$. This problem has recently received attention in two settings: (1) where $p$ is assumed to be Gaussian and (2) where $p$ is assumed only to lie in a large nonparametric smoothness class. Estimators proposed for the Gaussian case converge in high dimensions when the Gaussian assumption holds, but are brittle, failing dramatically when $p$ is not Gaussian. Estimators proposed for the nonparametric case fail to converge with realistic sample sizes except in very low dimensions. As a result, there is a lack of robust mutual information estimators for many realistic data. To address this, we propose estimators for mutual information when $p$ is assumed to be a nonparanormal (a.k.a., Gaussian copula) model, a semiparametric compromise between Gaussian and nonparametric extremes. Using theoretical bounds and experiments, we show these estimators strike a practical balance between robustness and scaling with dimensionality.

연구 동기 및 목표

• 비정규성에 강건하고 고차원에까지 확장 가능한 실용적인 상호정보량 추정기가 부족한 문제를 해결한다.
• 고차원 정보 추정에서 파편적인 가우시안 가정과 비현실적인 비모수 설정 사이의 격차를 메운다.
• 비정규 가우시안(가우시안 코퓰라) 모델 하에서 일致성과 수렴성을 유지하는 고차원에서의 상호정보량 추정기를 개발한다.
• 비정규 가우시안 상호정보량 추정의 이론적 오차 경계를 제공하며, 추정 오차에 대한 상한과 하한을 포함한다.
• 비모수 추정기의 실패와 가우시안 추정기의 붕괴가 발생하는 중간 크기의 표본 크기에서도 비정규 가우시안 추정기가 가우시안 추정기보다 더 강건하고 수렴함을 실증적으로 입증한다.

제안 방법

• 공분산 분포를 비정규 가우시안(가우시안 코퓰라) 분포로 모델링하여, 누적분포함수 변환을 통해 데이터가 약간 가우시안에 가까워지도록 가정한다.
• 비모수 밀도 추정 대신 순위 기반 측도(Spearman의 rho 및 Kendall의 tau)를 사용하여 상호정보량을 추정함으로써 근원 분포에 대한 민감도를 감소시킨다.
• 세 가지 추정기인 $\widehat{I}_{\rho}$ (Spearman의 rho 기반), $\widehat{I}_{\tau}$ (Kendall의 tau 기반), $\widehat{I}_{G}$ (가우시안 코퓰라 기반)를 제안하며, 각각 다른 상관관계 구조를 활용한다.
• 추정 오차의 이론적 상한을 유도하여 $\|Σ^{-1}\|_2^2 D^2 / n$ 의 형태를 취하며, 이는 역공분산행렬과 차원에 대한 의존성을 보여준다.
• 최소최대 하한을 $2D/n$ 으로 설정하여 상한이 $ olimits\Sigma$ 에 따라 결정되는 요소를 제외하고는 거의 최적임을 보이며, 순위 기반 추정기가 가우시안 경우와는 다름을 보인다.
• 개별 누적분포 엔트로피를 추정하기 위해 표본 간격과 $k$-최근접이웃 방법을 사용하고, 이를 상호정보량 추정과 결합하여 연합 엔트로피를 계산한다.

실험 결과

연구 질문

• RQ1 비정규 가우시안 가정이 비모수 추정기가 실패하고 가우시안 추정기가 붕괴하는 고차원 설정에서 일致성 있는 상호정보량 추정을 가능하게 할 수 있는가?
• RQ2 비정규 가우시안 추정기의 이론적 오차 속도가 가우시안 경우의 최소최대 하한과 비교하여 어떻게 되며, 잠재 공분산행렬 $ olimits\Sigma$ 에 어떤 의존성을 가지는가?
• RQ3 Spearman의 rho와 Kendall의 tau와 같은 순위 기반 추정기가 고차원 데이터에서 비모수적 또는 비모수적 대안에 비해 얼마나 더 강건한가?
• RQ4 비정규 가우시안 모델이 $\Sigma$ 에 대한 구조적 가정 하에서 상호정보량 이외의 엔트로피 및 기타 기능의 일관성 있는 추정을 가능하게 할 수 있는가?
• RQ5 오차 경계에 포함된 차원 $D$ 에 대한 제곱 의존성은 최적인가, 아니면 $ olimits\Sigma$ 에 대한 구조적 가정이 더 빠른 수렴 속도를 이끌 수 있는가?

주요 결과

• 제안된 비정규 가우시안 추정기는 $ olimits\|Σ^{-1}\|_2^2 D^2 / n$ 의 이론적 상한을 갖는다. $ olimits\Sigma$ 가 잘 조절되어 있을 경우 이는 차원에 따라 유리하게 스케일링된다.
• 비정규 가우시안 모델의 최소최대 하한은 $2D/n$ 이며, 이는 가우시안 경우와 일치한다. 이는 상한이 $ olimits\Sigma$ 에 따라 결정되는 요소를 제외하고 거의 최적임을 시사한다.
• 실증 결과는 비정규 가우시안 추정기가 가우시안 추정기보다 더 강건하며, 특히 다변량 정규성에서 벗어나거나 고차원 영역에서 더 뛰어나게 작용함을 보여준다.
• $\widehat{I}_{\rho}$ 와 $\widehat{I}_{\tau}$ 는 $D^2/n$ 이 작을 경우 효과적이며, $\widehat{I}_{\rho}$ 는 이상치에 더 강건하고 $\widehat{I}_{\tau}$ 는 강한 상관관계에 더 적합하다.
• 순위 기반 상호정보량 추정기와 $k$-최근접이웃 또는 표본 간격 방법을 조합하여 개별 누적분포 엔트로피를 추정함으로써 연합 엔트로피 추정이 가능해지며, 이 경우 오차 경계는 $CD^2/n$ 이다.
• 본 연구는 비정규 가우시안 모델 하에서 $\log|\Sigma|$ 를 일관성 있게 추정함으로써 QDA 및 MANOVA 와 같은 다변량 도구의 강건한 확장 가능성을 열어 놓는다.