[논문 리뷰] Estimation of Missing Data Using Computational Intelligence and Decision Trees

George Ssali, Tshilidzi Marwala|ArXiv.org|2007. 09. 11.

Algorithms and Data Compression참고 문헌 22인용 수 16

한 줄 요약

이 논문은 결측치를 추정하기 위해 결합된 의사결정나무와 자동상관신경망(AANN) 및 PCA-NN 모델을 통합한 하이브리드 계산지능 프레임워크를 제안한다. 의사결정나무는 유전 알고리즘의 최적화 검색 범위를 안내하여 보정 정확도를 향상시킨다; HIV 혈액형태유병률 데이터에서 AANN 모델은 정확도를 75.8%에서 86.3%로 향상시키고, PCA-NN 모델은 66.1%에서 81.6%로 향상시켰다.

ABSTRACT

This paper introduces a novel paradigm to impute missing data that combines a decision tree with an auto-associative neural network (AANN) based model and a principal component analysis-neural network (PCA-NN) based model. For each model, the decision tree is used to predict search bounds for a genetic algorithm that minimize an error function derived from the respective model. The models' ability to impute missing data is tested and compared using HIV sero-prevalance data. Results indicate an average increase in accuracy of 13% with the AANN based model's average accuracy increasing from 75.8% to 86.3% while that of the PCA-NN based model increasing from 66.1% to 81.6%.

연구 동기 및 목표

• 통계 및 의료 데이터셋에서의 결측치 문제를 다루며, 특히 공중보건 연구 분야에서의 도전 과제를 해결한다.
• 伝통적인 보정 방법을 초월하여 결측치 추정의 정확도를 향상시키는 것.
• 의사결정나무, AANN 및 PCA-NN를 포함한 계산지능 기법의 새로운 통합을 개발하여 강력한 보정 성능을 확보한다.
• 의사결정나무 예측에 기반한 유전 알고리즘을 활용하여 오차 함수를 최소화하는 방식으로 모델 성능을 최적화한다.
• 실제 HIV 혈액형태유병률 데이터를 대상으로 제안된 프레임워크를 검증하여 실용적 효과성을 평가한다.

제안 방법

• 입력 데이터 패턴에 기반해 의사결정나무를 활용하여 유전 알고리즘의 최적 검색 범위를 예측한다.
• 의사결정나무를 자동상관신경망(AANN) 모델과 통합하여 오차 최소화를 통한 결측치 복원을 수행한다.
• 주성분분석(PCA)과 신경망을 조합한 PCA-NN을 활용해 차원 축소 및 복잡한 데이터 관계 모델링을 수행한다.
• 의사결정나무의 예측된 범위에 기반해 AANN 및 PCA-NN 모델의 최적 가중치 설정을 위한 유전 알고리즘을 적용한다.
• 재구성 손실 기반 오차 함수를 정의하여 두 모델의 보정 오차를 평가하고 최소화한다.
• HIV 혈액형태유병률 데이터를 사용해 AANN 및 PCA-NN 모델을 훈련 및 테스트하고, 최적화 이전과 이후의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 의사결정나무가 유전 알고리즘의 검색 범위를 효과적으로 안내하여 결측치 보정 정확도를 향상시킬 수 있는가?
• RQ2 의사결정나무에 의해 최적화된 AANN 및 PCA-NN 모델의 통합은 기준 보정 방법과 비교해 어떻게 다른가?
• RQ3 실제 건강 데이터에서 하이브리드 프레임워크는 얼마나 많은 보정 오차를 감소시키는가?
• RQ4 AANN 기반 모델과 PCA-NN 기반 모델 간의 상대적 성능 향상은 결측치 처리에서 어느 정도인가?
• RQ5 의사결정나무에서 유도된 검색 범위 사용이 보정 과정에서 수렴 속도 향상과 더 나은 일반화 성능을 이끌어내는가?

주요 결과

• AANN 기반 모델은 평균 정확도가 10.5%p 향상되어 75.8%에서 86.3%로 상승하였다.
• PCA-NN 기반 모델은 뚜렷한 향상을 보였으며, 정확도가 66.1%에서 81.6%로 상승하였다.
• 두 모델의 평균 보정 정확도 향상률은 13%였으며, 이는 하이브리드 접근 방식의 효과성을 입증한다.
• 의사결정나무에 의해 안내된 유전 알고리즘은 AANN 및 PCA-NN 모델 양쪽에서 수렴 성능 향상과 오차 감소를 크게 개선하였다.
• 제안된 프레임워크는 특히 비선형 관계가 복잡한 완전하지 않은 데이터셋을 다룰 때 기존 보정 기법을 뛰어넘는 성능을 보였다.
• 결측치 추정에서 의사결정나무를 계산지능 모델과 통합함으로써 정확성과 강건성이 향상됨을 확인하였다.