[논문 리뷰] Nonparametric empirical Bayes and maximum likelihood estimation for high-dimensional data analysis

Lee H. Dicker, Sihai Dave Zhao|arXiv (Cornell University)|2014. 07. 09.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 7

한 줄 요약

이 논문은 고차원 데이터에 대한 비모수적 경험베이즈 NPMLE의 계산적으로 효율적인 근사법을 제안하며, 이 근사법의 통계적 오차가 진정한 NPMLE와 동일한 속도로 수렴함을 보여준다. 또한, 유전 발현 및 암 생존 데이터에서 특히 두드러진 성능을 보이는, 기존 방법들보다 뛰어난 성능을 보이는 새로운 NPMLE 기반 분류기를 도입한다.

ABSTRACT

Nonparametric empirical Bayes methods provide a flexible and attractive approach to high-dimensional data analysis. One particularly elegant empirical Bayes methodology, involving the Kiefer-Wolfowitz nonparametric maximum likelihood estimator (NPMLE) for mixture models, has been known for decades. However, implementation and theoretical analysis of the Kiefer-Wolfowitz NPMLE are notoriously difficult. A fast algorithm was recently proposed that makes NPMLE-based procedures feasible for use in large-scale problems, but the algorithm calculates only an approximation to the NPMLE. In this paper we make two contributions. First, we provide upper bounds on the convergence rate of the approximate NPMLE's statistical error, which have the same order as the best known bounds for the true NPMLE. This suggests that the approximate NPMLE is just as effective as the true NPMLE for statistical applications. Second, we illustrate the promise of NPMLE procedures in a high-dimensional binary classification problem. We propose a new procedure and show that it vastly outperforms existing methods in experiments with simulated data. In real data analyses involving cancer survival and gene expression data, we show that it is very competitive with several recently proposed methods for regularized linear discriminant analysis, another popular approach to high-dimensional classification.

연구 동기 및 목표

• 코엔커와 마이저라의 근사 NPMLE에 대한 이론적 근거를 제공함. 이 방법은 계산적으로 타당하지만 이전에 이론적 지원이 부족함.
• 근사 NPMLE가 진정한 NPMLE와 동일한 수렴 속도를 달성함을 입증하여 통계적 효과성을 검증함.
• NPMLE 기반 사전 분포를 사용한 고차원 이진 분류를 위한 새로운 비모수적 경험베이즈 분류기 개발 및 평가.
• 제안된 분류기의 시뮬레이션 데이터 및 실제 유전자 발현 및 암 생존 데이터 세트에서의 뛰어난 성능을 입증함.
• 전통적인 추정 문제를 넘어서 현대적인 고차원 분류 문제에 비모수적 경험베이즈 방법의 적용 범위를 확장함.

제안 방법

• 무한차원 키프어-울프로비츠 NPMLE를 유한차원 볼록 최적화 프레임워크로 근사하여 확장 가능한 계산을 가능하게 함.
• 코엔커와 마이저라의 알고리즘을 사용해 NPMLE를 볼록 최적화 문제로 해결함으로써 느린 EM 유형 알고리즘을 피함.
• 근사 NPMLE가 진정한 기저 분포로의 수렴 속도에 대한 상한을 유도하며, 이는 진정한 NPMLE의 알려진 상한과 일치함.
• 학습 데이터로부터 그룹별로 별개의 NPMLE 추정치 $\hat{F}^0$ 및 $\hat{F}^1$를 추정하고, 특징 평균을 관측치로 사용하여 베이즈 분류기 구축.
• 데이터로부터 혼합 분포를 비모수적으로 추정하는 비모수적 경험베이즈 접근법을 사용하여 조정 파rameter가 필요 없음.
• 이론적 분석과 광범위한 시뮬레이션을 통해 방법을 검증함. 정규화된 선형 판별 분석 방법과의 비교 포함.

실험 결과

연구 질문

• RQ1 코엔커와 마이저라가 제안한 근사 NPMLE가 진정한 NPMLE와 동일한 통계적 수렴 속도를 달성하는가?
• RQ2 NPMLE 기반 절차는 고차원 이진 분류 과제에 효과적으로 적용될 수 있는가?
• RQ3 제안된 NPMLE 기반 분류기는 시뮬레이션 및 실제 데이터에서 기존 최첨단 방법들과 비교해 분류 정확도에서 어떻게 성능을 내는가?
• RQ4 i.i.d. 정규 관측치를 가진 고차원 설정에서 근사 NPMLE의 이론적 통계 성능은 어떠한가?
• RQ5 유전자 발현 마이크로어레이와 같은 복잡한 실제 유전체 데이터에 적용했을 때 NPMLE 기반 분류기는 강력한 성능을 유지할 수 있는가?

주요 결과

• 근사 NPMLE는 진정한 NPMLE와 동일한 수렴 속도를 달성하며, 통계적 오차에 대한 상한이 진정한 추정기의 최고 수준의 비율과 일치함.
• 제안된 NPMLE 기반 분류기는 시뮬레이션된 고차원 이진 분류 실험에서 기존 방법들을 크게 능가함.
• 암 생존 및 유전자 발현을 포함한 실제 데이터에서는 최근의 정규화된 선형 판별 분석 기법과 경쟁력 있는 성능을 보임.
• 이론적 분석을 통해 근사 NPMLE가 통계적으로 신뢰할 수 있음을 확인하였으며, 적절한 조건 하에서 수렴 속도가 $O\left(\frac{\log(N)\{\log(K)\}^2}{NK^2}\right)$로 제한됨.
• NPMLE 추정에 조정 파rameter가 필요 없어, 고차원 설정에서 강인성과 확장성 확보.
• 특징 분포가 복잡하고 비정규 분포일 경우에도 $\hat{F}^0$ 및 $\hat{F}^1$ 기반 분류기가 뛰어난 경험적 성능를 보임.