[논문 리뷰] Proposition of a Theoretical Model for Missing Data Imputation using Deep Learning and Evolutionary Algorithms

Collins Achepsah Leke, Tshilidzi Marwala외 1명|arXiv (Cornell University)|2015. 12. 04.

Bayesian Methods and Mixture Models인용 수 14

한 줄 요약

이 논문은 깊이 있는 오토인코더, 노이즈 제거 오토인코더, 그리고 유전 알고리즘, 군집 지능, 최대 우도 추정을 포함한 하이브리드 최적화 기법과 함께 퍼지 논리를 통합하여 결측 데이터 보간을 위한 새로운 이론적 모델을 제안한다. 이 방법은 계층적 특징 학습과 진화 최적화를 활용하여 다양한 결측 데이터 메커니즘과 패턴에서 결측 값을 재구성함으로써 기존 방법에 비해 보간 정확도와 효율성을 향상시키는 것을 목표로 한다.

ABSTRACT

In the last couple of decades, there has been major advancements in the domain of missing data imputation. The techniques in the domain include amongst others: Expectation Maximization, Neural Networks with Evolutionary Algorithms or optimization techniques and K-Nearest Neighbor approaches to solve the problem. The presence of missing data entries in databases render the tasks of decision-making and data analysis nontrivial. As a result this area has attracted a lot of research interest with the aim being to yield accurate and time efficient and sensitive missing data imputation techniques especially when time sensitive applications are concerned like power plants and winding processes. In this article, considering arbitrary and monotone missing data patterns, we hypothesize that the use of deep neural networks built using autoencoders and denoising autoencoders in conjunction with genetic algorithms, swarm intelligence and maximum likelihood estimator methods as novel data imputation techniques will lead to better imputed values than existing techniques. Also considered are the missing at random, missing completely at random and missing not at random missing data mechanisms. We also intend to use fuzzy logic in tandem with deep neural networks to perform the missing data imputation tasks, as well as different building blocks for the deep neural networks like Stacked Restricted Boltzmann Machines and Deep Belief Networks to test our hypothesis. The motivation behind this article is the need for missing data imputation techniques that lead to better imputed values than existing methods with higher accuracies and lower errors.

연구 동기 및 목표

• 의료, 에너지, 제조와 같은 시간 민감도가 높은 도메인에서 불완전한 데이터셋으로 인한 정확하지도 않고 신뢰할 수 없는 의사결정을 해결한다.
• 기존의 보간 방법의 한계를 극복하기 위해 깊이 학습과 진화 최적화, 퍼지 논리를 융합한 하이브리드 프레임워크를 개발한다.
• 깊이 오토인코더를 통해 변수 간의 복잡한 상호관계를 계층적 특징 표현을 통해 활용하여 보간 정확도를 향상시키고 오류율을 감소시킨다.
• 다양한 결측 데이터 패턴(임의의, 단조형)과 메커니즘(MCAR, MAR, MNAR)에 맞게 적응 가능한 모델을 개발하여 강건성과 일반화 능력을 향상시킨다.
• 병렬 처리 및 복잡도 최적화를 통해 보다 빠른 보간을 가능하게 하여 고성능 컴퓨팅 요구 사항을 가진 실시간 응용 분야에 적합하게 한다.

제안 방법

• 입력 데이터의 계층적이고 저차원의 표현을 학습하기 위해 스택드 오토인코더와 노이즈 제거 오토인코더를 활용하여 특징 간의 복잡한 비선형 관계를 포착한다.
• 유전 알고리즘과 군집 지능을 통합하여 깊이 오토인코더 프레임워크 내 재구성 오차를 최소화하는 최적의 결측 값을 탐색함으로써 보간 과정을 최적화한다.
• 최대 우도 추정을 통계적 기반으로 활용하여 최적화 과정을 지도함으로써 보간된 값의 확률적 일관성을 보장한다.
• 깊이 신경망과 함께 퍼지 논리를 적용하여 노이즈가 많거나 일관성 없는 데이터셋에서의 불확실성과 모호성을 다루며, 특히 이러한 환경에서의 성능 향상을 기대한다.
• MCAR, MAR, MNAR와 같은 다른 결측 데이터 메커니즘과 임의의, 단조형 패턴에 맞는 별도의 모델을 구축하여 데이터 구조에 따라 맞춤형 보간 전략을 구현한다.
• 완전한 데이터로 신경망을 훈련한 후, 재구성 오차가 최소가 될 때까지 반복적으로 결측 항목을 추정하고 개선함으로써 결측 값이 있는 입력을 재구성한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘과 군집 지능를 포함한 진화 알고리즘과 깊이 오토인코더를 융합함으로써 기존 방법에 비해 보간 정확도가 유의미하게 향상되는가?
• RQ2 제안된 모델은 완전히 무작위로 결측(MCAR), 무작위로 결측(MAR), 무작위가 아닌 방식으로 결측(MNAR)을 포함한 다양한 결측 데이터 메커니즘을 얼마나 효과적으로 다룰 수 있는가?
• RQ3 스택드 노이즈 제거 오토인코더와 퍼지 논리가 높은 노이즈 또는 복잡한 상관관계를 가진 환경에서 결측 값 보간의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 기존 기법인 KNN, PCA 기반 보간, 표준 신경망에 비해 제안된 모델이 더 낮은 재구성 오차와 더 높은 진짜 값과의 상관관계를 달성할 수 있는가?
• RQ5 제안된 방법의 계산 복잡도는 얼마이며, 병렬 처리나 동적 프로그래밍를 통해 실시간 응용 분야에 최적화할 수 있는가?

주요 결과

• 깊이 오토인코더의 계층적 특징 학습 능력과 진화 알고리즘의 전역 탐색 효율성 덕분에 제안된 모델은 기존 방법보다 더 높은 보간 정확도를 기대할 수 있다.
• 깊이 학습과 최대 우도 추정의 융합은 특히 MAR 및 MNAR 메커니즘 하에서 보간된 값의 통계적 신뢰성을 향상시킨다.
• 퍼지 논리의 통합은 불확실하거나 모호한 데이터 환경에서의 성능 향상을 기대할 수 있으며, 이는 보간 불확실성을 명시적으로 모델링함으로써 가능해진다.
• 모델이 다양한 결측 데이터 패턴(임의의, 단조형)과 메커니즘(MCAR, MAR, MNAR)에 적응 가능하다는 점은 다양한 실제 데이터셋에 광범위하게 적용 가능함을 시사한다.
• 보간 작업의 병렬 처리 잠재력은 계산 시간을 단축시킬 것으로 기대되어, 발전소나 산업 모니터링 시스템과 같은 시간 민감도가 높은 응용 분야에 적합하다.
• 시간 및 공간 효율성을 확보하기 위해 복잡도 분석을 계획하며, 확장성과 실시간 배포를 지원하기 위해 목표로 하는 복잡도는 O(n log n) 또는 그 이하이다.