[논문 리뷰] Pattern Alternating Maximization Algorithm for High-Dimensional Missing Data

Nicolas Staedler, Peter Buehlmann|arXiv (Cornell University)|2010. 05. 03.

Gene expression and cancer classification참고 문헌 25인용 수 5

한 줄 요약

이 논문은 다변량 정규분포 모델에서 고차원 결측 데이터를 위한 패턴 교호 최적화(Pattern Alternating Maximization, PAM) 알고리즘을 제안한다. 반복적으로 결측 변수를 관측된 변수로 회귀하고 좌표 강하를 통해 라소 페널티를 통합함으로써, PAM은 효율적이고 희소한 대체값을 제공하며, 마이크로어레이 데이터셋에서 k-NN, 핵심 노름, l1-페널티가 부여된 공분산 역행렬 추정 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a new and computationally efficient algorithm for maximizing the observed log-likelihood for a multivariate normal data matrix with missing values. We show that our procedure based on iteratively regressing the missing on the observed variables, generalizes the standard EM algorithm by alternating between different complete data spaces and performing the E-Step incrementally. In this non-standard setup we prove numerical convergence to a stationary point of the observed log-likelihood. For high-dimensional data, where the number of variables may greatly exceed sample size, we add a Lasso penalty in the regression part of our algorithm and perform coordinate descent approximations. This leads to a computationally very attractive technique with sparse regression coefficients for missing data imputation. Simulations and results on four microarray datasets show that the new method often outperforms other imputation techniques as k-nearest neighbors imputation, nuclear norm minimization or a penalized likelihood approach with an l1-penalty on the inverse covariance matrix.

연구 동기 및 목표

• 표본 크기보다 변수 수가 많은 고차원 환경에서의 결측 데이터 문제를 해결하기 위해.
• 다변량 정규분포 가정 하에 관측 로그우도를 최대화하는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 재귀 단계에서 라소 정규화를 통합하여 희소성을 도입함으로써 대체 정확도를 향상시키기 위해.
• 표준 EM 알고리즘을 확장하여 서로 다른 완전 데이터 공간 간을 번갈아가며 증가시키고, 점진적인 E단계를 수행함으로써.
• 마이크로어레이와 같은 고차원 생물학적 데이터셋에 대한 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 알고리즘은 패턴 기반 접근 방식을 사용하여 반복적으로 결측 변수를 관측 변수로 회귀하며, 서로 다른 완전 데이터 공간 간을 번갈아가며 수행된다.
• 각 반복에서 전체 E단계 계산 대신 점진적인 E단계를 수행함으로써 EM 알고리즘을 일반화한다.
• 고차원 데이터의 경우, 과적합을 줄이고 희소성을 유도하기 위해 회귀 계수에 라소 페널티를 적용한다.
• 벌점된 회귀 하위문제를 효율적으로 해결하기 위해 좌표 강하를 근사 방법으로 사용한다.
• 알고리즘은 패턴별로 결측 데이터 추정치를 갱신하고 회귀 계수를 정밀화하는 방식으로 번갈아가며 수행된다.
• 비표준 교차 최적화 프레임워크 하에서 관측 로그우도의 정류점으로 수렴함을 증명하였다.

실험 결과

연구 질문

• RQ1 서로 다른 완전 데이터 공간 간을 번갈아가며 최적화하는 수정된 EM 유사 알고리즘이 고차원 결측 데이터의 계산 효율성과 수렴성 향상에 기여할 수 있는가?
• RQ2 재귀 단계에 라소 정규화를 통합할 경우 고차원 환경에서 대체 정확도와 희소성에 어떤 영향을 미치는가?
• RQ3 제안된 PAM 알고리즘이 k-NN, 핵심 노름 최소화, l1-페널티가 부여된 공분산 역행렬 추정과 같은 기존 대체 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 비표준 교차 최적화 프레임워크에서 알고리즘의 수렴 행동은 어떠한가?
• RQ5 실제 고차원 마이크로어레이 데이터셋에서 결측값이 존재하는 상황에서 이 방법의 성능은 얼마나 우수한가?

주요 결과

• PAM 알고리즘은 비표준 교차 최적화 설정에서도 관측 로그우도의 정류점으로 수렴하는 것으로 수치적으로 확인되었다.
• 고차원 환경에서 라소 페널티를 통합함으로써 희소한 회귀 계수를 도출할 수 있었으며, 이는 해석 가능성 향상과 과적합 감소에 기여하였다.
• 네 개의 마이크로어레이 데이터셋에 대한 시뮬레이션 및 실데이터 분석 결과, PAM은 대체 정확도 측면에서 k-최근접 이웃 대체법을 일관되게 능가하였다.
• 동일한 데이터셋에서 핵심 노름 최소화 및 l1-페널티가 부여된 우도 접근법보다도 성능이 뛰어났다.
• 좌표 강하 근사로 인해 PAM의 계산 효율성이 향상되어 대규모 고차원 데이터에 적합한 것으로 나타났다.
• 생물학적 응용 분야에서 다양한 데이터 구조와 결측 패턴에 대해 알고리즘이 강인한 성능을 발휘하였다.