[논문 리뷰] Pattern Alternating Maximization Algorithm for Missing Data in Large P, Small N Problems

Nicolas Städler, Daniel J. Stekhoven외 1명|arXiv (Cornell University)|2010. 05. 03.

Gene expression and cancer classification참고 문헌 29인용 수 3

한 줄 요약

이 논문은 높은 차원의 '큰 P, 작은 N' 데이터에서 결측값을 보정하기 위해 새로운 패턴 교대 최대화 방식을 사용하는 계산적으로 효율적인 알고리즘인 MissPALasso를 제안한다. 행렬 역행렬 연산을 소프트 스트레스팅으로 대체하고 Lasso 펜alties를 통합함으로써 희박한 회귀 계수를 달성하며, 시뮬레이션과 실제 마이크로어레이 데이터셋에서 k-NN, 핵심 노름 최소화, MissGLasso와 같은 기존 방법들을 능가한다.

ABSTRACT

We propose a new and computationally efficient algorithm for maximizing the observed log-likelihood for a multivariate normal data matrix with missing values. We show that our procedure based on iteratively regressing the missing on the observed variables, generalizes the standard EM algorithm by alternating between different complete data spaces and performing the E-Step incrementally. In this non-standard setup we prove numerical convergence to a stationary point of the observed log-likelihood. For high-dimensional data, where the number of variables may greatly exceed sample size, we add a Lasso penalty in the regression part of our algorithm and perform coordinate descent approximations. This leads to a computationally very attractive technique with sparse regression coefficients for missing data imputation. Simulations and results on four microarray datasets show that the new method often outperforms other imputation techniques as k-nearest neighbors imputation, nuclear norm minimization or a penalized likelihood approach with an l1-penalty on the inverse covariance matrix.

연구 동기 및 목표

• 고차원 설정에서 기존의 EM 기반 방법의 계산 비효율성과 희박성 부족 문제를 해결한다.
• 다양한 완전 데이터 공간 간의 교대를 통해 표본 로그우도의 정상점에 수렴하는 최대우도 기반 접근법을 개발한다.
• '큰 P, 작은 N' 상황에서의 해석 가능성과 정확도를 향상시키기 위해 Lasso 페널티를 통한 희박 추정 프레임워크를 도입한다.
• 관측된 로그우도의 정상점으로의 알고리즘 수렴성을 수치적으로 증명한다.
• 실제 및 시뮬레이션 마이크로어레이 데이터에서 k-NN, 핵심 노름 최소화, 그리고 페널티가 부여된 최대우도 방법에 비해 뛰어난 성능을 보여준다.

제안 방법

• 다양한 완전 데이터 공간 간을 교대하며 점진적인 E-단계를 수행하는 비표준 EM 유형 알고리즘인 MissPA를 제안한다.
• E-단계에서 행렬 역행렬 연산을 소프트 스트레스팅 연산자로 대체하여 계산 효율성을 향상시킨다.
• 결측값 보정의 회귀 단계에 Lasso 페널티를 추가하여 MissPALasso를 도입함으로써 희박한 추정을 가능하게 한다.
• 고차원 설정에서 페널티가 부여된 회귀 문제를 효율적으로 해결하기 위해 좌표 강하 근사법을 사용한다.
• 최적화 문제를 페널티가 부여된 변동 자유 에너지의 최대화로 공식화하고, 결측 패턴 간 반복 업데이트를 수행한다.
• 콤���트성과 샌드위치 부등식을 이용한 추론을 통해 관측된 로그우도의 정상점으로의 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 다양한 완전 데이터 공간 간을 교대하는 수정된 EM 알고리즘이 고차원 결측 데이터 문제에서 더 높은 계산 효율성을 달성할 수 있는가?
• RQ2 E-단계에서 행렬 역행렬 연산을 소프트 스트레스팅으로 대체하면 보정의 계산 확장성과 희박성이 향상되는가?
• RQ3 회귀 단계에서 Lasso 정규화를 적용하면 '큰 P, 작은 N' 설정에서 더 정확하고 해석 가능한 보정 결과를 얻을 수 있는가?
• RQ4 실제 마이크로어레이 데이터셋에서 MissPALasso의 성능은 k-NN, 핵심 노름 최소화, MissGLasso와 비교해 어떻게 되는가?
• RQ5 제안된 알고리즘은 수치적으로 안정적이며 관측된 로그우도의 정상점으로 수렴이 보장되는가?

주요 결과

• MissPALasso는 E-단계에서 행렬 역행렬 연산을 소프트 스트레스팅으로 대체함으로써 고비용의 큰 공분산 행렬 연산을 피함으로써 계산 효율성을 크게 향상시킨다.
• Lasso 페널티를 통해 희박한 회귀 계수를 달성함으로써 고차원 설정에서의 해석 가능성 향상과 과적합 감소를 달성한다.
• 네 개의 마이크로어레이 데이터셋에 대한 시뮬레이션 및 실제 데이터 분석 결과, MissPALasso는 k-NN, 핵심 노름 최소화, MissGLasso보다 보정 정확도에서 뛰어난 성능을 보였다.
• 콤팩트성과 샌드위치 부등식을 이용한 엄밀한 증명을 통해 관측된 로그우도의 정상점으로의 수치적 수렴이 입증되었다.
• 낮은 질서 구조를 따르지 않는 데이터에서도 강건한 성능을 보이며, 낮은 질서가 아닌 상황에서는 볼록 행렬 복원 방법보다 뛰어난 성능을 보였다.
• 완전 데이터 공간 간의 교대를 允허함으로써 표준 EM 알고리즘을 일반화한 본 연구의 접근법은 결측 데이터 문제에서 더 유연하고 효율적인 최적화를 가능하게 한다.