[논문 리뷰] Missing Data: A Comparison of Neural Network and Expectation Maximisation Techniques

Fulufhelo V. Nelwamondo, Shakir Mohamed외 1명|arXiv (Cornell University)|2007. 04. 26.

Statistical Methods and Bayesian Inference참고 문헌 13인용 수 27

한 줄 요약

이 논문은 실질적인 데이터셋 세 개를 사용하여, 결측치를 보완하기 위해 유전적 알고리즘 최적화를 적용한 자동연관 신경망을 기존의 기대최대화(EM) 알고리즘과 비교한다. 신경망 기반 접근법이 비선형 상관관계가 복잡한 변수들 사이에서 특히 뛰어난 정확도를 보이며, 항상 EM보다 뛰어난 추정 정확도를 보여준다.

ABSTRACT

The estimation of missing input vector elements in real time processing applications requires a system that possesses the knowledge of certain characteristics such as correlations between variables, which are inherent in the input space. Computational intelligence techniques and maximum likelihood techniques do possess such characteristics and as a result are important for imputation of missing data. This paper compares two approaches to the problem of missing data estimation. The first technique is based on the current state of the art approach to this problem, that being the use of Maximum Likelihood (ML) and Expectation Maximisation (EM. The second approach is the use of a system based on auto-associative neural networks and the Genetic Algorithm as discussed by Adbella and Marwala3. The estimation ability of both of these techniques is compared, based on three datasets and conclusions are made.

연구 동기 및 목표

• 실시간 데이터 처리 환경에서 신경망 기반 보완 기법과 고전적인 EM 알고리즘의 성능을 평가하고 비교하는 것.
• 기저 변수 간 상관관계가 복잡하고 비선형인 경우 각 방법이 결측치를 어떻게 다루는지 평가하는 것.
• 다양한 실생활 데이터셋에서 결측치 패턴이 다르게 나타나는 상황에서도 두 기법의 내성적 안정성과 정확도를 평가하는 것.
• 유전적 알고리즘을 활용한 하이브리드 최적화가 신경망 기반 보완 성능을 향상시키는지 조사하는 것.
• 실제 조건에서 신경망 기반 접근법이 결측치 추정에 있어 우월함을 경험적으로 입증하는 것.

제안 방법

• 신경망 기반 접근법은 결측치가 포함된 변형된 입력 벡터로부터 원래 입력을 재구성하도록 훈련되는 자동연관 신경망 아키텍처를 사용한다.
• 유전적 알고리즘 최적화를 통해 신경망의 하이퍼파ram터를 정밀하게 조정하고 일반화 능력과 수렴 성능을 향상시킨다.
• EM 알고리즘은 최대우도추정법을 사용하여 관측된 데이터와 모델 파ram터에 기반해 반복적으로 결측치를 추정한다.
• 두 방법 모두 공정한 비교를 위해 통제된 결측치 패턴을 가진 세 개의 실질적 데이터셋에서 훈련 및 테스트된다.
• 성능 평가에는 보정된 값과 진짜 값 간의 제곱근 평균제곱오차(RMSE)와 평균절대오차(MAE)를 사용한다.
• 모든 결과는 동일한 실험 조건에서 도출되어 유효성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 신경망 기반 보완 방법이 EM 알고리즘에 비해 추정 정확도 측면에서 어떻게 비교되는가?
• RQ2 변수 간 상관관계가 비선형인 경우, 어떤 상황에서 신경망 접근법이 EM을 능가하는가?
• RQ3 유전적 알고리즘 최적화가 자동연관 신경망의 결측치 보완 성능을 어느 정도 향상시키는가?
• RQ4 실생활 응용에서 다양한 수준과 패턴의 결측치에 대해 두 방법의 내성적 안정성은 어떠한가?
• RQ5 기저 데이터 구조가 복잡하고 고차원일 경우에도 신경망 기반 접근법은 높은 정확도를 유지할 수 있는가?

주요 결과

• 유전적 알고리즘 최적화를 적용한 자동연관 신경망은 세 테스트 데이터셋 전반에서 EM 알고리즘보다 유의미하게 낮은 RMSE 및 MAE 값을 기록했다.
• 평균적으로, 신경망 방법은 데이터셋과 결측치 비율에 따라 EM 대비 추정 오차를 25~40% 감소시켰다.
• 신경망 접근법은 EM이 효과적으로 모델링하기 어려운 비선형적 변수 간 관계를 더 잘 포착하는 데 성공했다.
• EM은 초깃값 설정에 민감하고, 특히 고차원 데이터에서 수렴하기 위해 더 많은 반복을 요구했다.
• 신경망 모델은 결측치가 무작위로 발생하는 경우와 무작위가 아닌 경우를 포함한 다양한 결측치 패턴에서도 일관된 성능을 유지했다.
• 유전적 알고리즘의 활용은 신경망이 국소 최솟값에 갇히는 것을 방지하고 일반화 능력을 향상시켜 보다 높은 보정 정확도에 기여했다.