[논문 리뷰] Efficient EM Training of Gaussian Mixtures with Missing Data

Olivier Delalleau, Aaron Courville외 1명|arXiv (Cornell University)|2012. 09. 04.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 20

한 줄 요약

이 논문은 결손 데이터가 있는 가우시안 혼합 모델(GMM)의 기대값 최대화(EM) 학습을 가속화하기 위해 스패닝 트리 기반 알고리즘을 제안한다. 이는 계산 비용을 크게 감소시키며, 조건부 기대값을 통한 효과적인 결손치 보정을 가능하게 하여, 분류 모델과 함께 사용했을 때 전역 평균 및 최근접이웃 보정 방식보다 우수한 성능을 발휘한다.

ABSTRACT

In data-mining applications, we are frequently faced with a large fraction of missing entries in the data matrix, which is problematic for most discriminant machine learning algorithms. A solution that we explore in this paper is the use of a generative model (a mixture of Gaussians) to compute the conditional expectation of the missing variables given the observed variables. Since training a Gaussian mixture with many different patterns of missing values can be computationally very expensive, we introduce a spanning-tree based algorithm that significantly speeds up training in these conditions. We also observe that good results can be obtained by using the generative model to fill-in the missing values for a separate discriminant learning algorithm.

연구 동기 및 목표

• 고차원 데이터셋에서 결손 데이터를 다룰 때 표준 EM 학습의 높은 계산 비용을 해결하기 위해.
• 다양한 결손 데이터 패턴 하에서 EM 갱신의 시간 복잡도를 감소시키는 확장성 있고 효율적인 학습 알고리즘을 개발하기 위해.
• 학습된 GMM에서 조건부 기대값 보정을 사용해 분류 모델의 사전 처리 단계로 활용했을 때의 효과를 평가하기 위해.
• 결손 데이터 분포를 생성 모델링함으로써 후속 분류 학습 알고리즘의 성능 향상을 입증하기 위해.

제안 방법

• 결손 데이터 패턴을 조직하고 그룹화하기 위해 스패닝 트리 기반 알고리즘을 제안하여 EM 학습 중 효율적인 행렬 계산을 가능하게 한다.
• 스패닝 트리 위에서의 행렬 갱신을 사용해 조건부 기대값을 계산하고, 각 고유한 결손 패턴에 대해 큰 공분산 행렬의 역행렬을 계산하지 않고도 파라미터를 갱신한다.
• 결손 데이터가 임의로 결손(MAR)된 것으로 가정하고, 완전 공분산 행렬을 가진 혼합 가우시안을 학습하기 위해 EM 알고리즘을 적용한다.
• 학습된 GMM에서 분석적으로 유도된 조건부 기대값 $ \mathbb{E}[x_m \mid x_o] $을 사용해 결손값을 보정한다.
• 결손 항목이 포함된 전체 데이터 행렬에서 GMM을 학습하며, 최적화된 행렬 연산을 사용한 반복적인 E단계 및 M단계 갱신을 수행한다.
• GMM 보정을 분류 모델(신경망 및 커널 리지 회귀)과 결합하여 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 결손 데이터 패턴을 가진 고차원 데이터셋에 대해, 가우시안 혼합 모델의 EM 학습이 계산적으로 가능하게 할 수 있는가?
• RQ2 학습된 GMM에서 조건부 기대값 보정을 사용할 경우, 단순한 보정 방법에 비해 후속 분류 모델의 성능이 향상되는가?
• RQ3 결손 패턴에 대한 스패닝 트리 구조가 모델 정확도를 훼손시키지 않고 EM 갱신의 계산 비용을 감소시킬 수 있는가?
• RQ4 GMM 기반 보정의 성능은 전역 평균 및 최근접이웃 보정과 비교해 예측 오차 측면에서 어떻게 다른가?
• RQ5 생성 모델 기반 보정과 분류 학습을 조합했을 때, GMM을 직접 예측기로 사용하는 것보다 더 좋은 결과를 얻을 수 있는가?

주요 결과

• 제안된 스패닝 트리 기반 알고리즘이 다수의 결손 패턴을 가진 데이터셋에서 표준 EM 대비 EM 학습 시간을 최대 한 계단수 감소시킨다.
• 아바론 데이터셋에서 테스트 평균제곱오차 측면에서, GMM에서 유도한 조건부 기대값 보정이 전역 평균 및 최근접이웃 보정보다 유의미하게 뛰어난 성능을 보인다.
• 신경망 및 커널 리지 회귀와 같은 분류 모델과 결합했을 때, GMM 기반 보정은 GMM을 단독 예측기로 사용했을 때보다 낮은 테스트 오차를 기록한다.
• 결손치 비율이 높아질수록 GMM 보정의 성능 향상이 두드러지며, 이는 최근접이웃 방법이 근접한 완전한 샘플이 부족해 성능이 저하되기 때문이다.
• 표준 EM이 가능한 결손 패턴의 수가 기하급수적으로 증가해 계산적으로 비현실적이게 되는 고차원 환경에서도 이 방법은 여전히 효과적이다.
• 결과는 전체 데이터 분포를 기반으로 학습된 생성 모델이, 데이터가 불완전할 경우에도 분류 학습에 유용한 인도적 편향을 제공할 수 있음을 검증한다.