[논문 리뷰] Algorithm for Missing Values Imputation in Categorical Data with Use of Association Rules

Jiří Kaiser|arXiv (Cornell University)|2012. 11. 08.

Data Mining Algorithms and Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 연관 규칙을 사용하여 범주형 데이터의 누락된 값을 보정하기 위한 새로운 알고리즘을 제안하며, 단순 모드 보정보다 뛰어난 성능을 보이는 세 가지 변종을 제공한다. 빈번한 항목집합과 규칙 기반 추론을 활용함으로써, 누락된 범주를 예측하는 데 더 높은 정확도를 달성하며, 완성되지 않은 범주형 정보를 가진 실세계 데이터셋에서의 효과성을 입증한다.

ABSTRACT

This paper presents algorithm for missing values imputation in categorical data. The algorithm is based on using association rules and is presented in three variants. Experimental shows better accuracy of missing values imputation using the algorithm then using most common attribute value.

연구 동기 및 목표

• 데이터 마이닝 및 기계 학습에서 흔한 문제인 범주형 데이터셋의 누락된 값 문제를 해결하기 위해.
• 범주형 속성 간의 관계를 활용하여 단순 모드 기반 접근 방식을 초월한 보정 정확도를 향상시키기 위해.
• 범주형 데이터를 위한 연관 규칙 기반 보정 알고리즘의 세 가지 변종을 개발하고 평가하기 위해.
• 정량적 지표(예: 정확도 및 오류율)를 사용하여 실세계 데이터셋에서 방법의 성능을 검증하기 위해.

제안 방법

• 알고리즘은 아포리어 알고리즘을 사용하여 완전한 데이터에서 빈번한 항목집합을 식별하고 규칙를 생성함으로써 연관 규칙를 구성한다.
• 각 누락된 값에 대해, 알려진 값이 인스턴스의 전제 조건과 일치하는 가장 신뢰도가 높은 규칙을 선택한다.
• 세 가지 변종이 제안된다: 가장 높은 신뢰도 규칙을 사용하는 경우, 다수의 규칙을 사용하여 투표하는 경우, 그리고 신뢰도와 지지도 임계값을 조합하는 경우.
• 보정 과정은 튜플 내 알려진 속성 값과 규칙의 전제 조건을 매칭시키고, 이 결과로 도출된 후건을 사용하여 누락된 값을 예측하는 방식이다.
• 이 방법은 거래 내 범주형 속성이 잠재적인 의존성에 의해 관련되어 있으며, 이러한 의존성이 연관 규칙를 통해 포착된다는 가정에 기반한다.
• 평가에서는 정확도를 주요 지표로 사용하며, 테스트 세트의 실제 값과 대비하여 보정된 값을 비교한다.

실험 결과

연구 질문

• RQ1 연관 규칙가 범주형 속성 간의 의존성을 효과적으로 포착하여 누락된 값 보정 성능을 향상시킬 수 있는가?
• RQ2 범주형 데이터의 정확도 측면에서 규칙 기반 보정은 단순 모드 보정보다 어떻게 비교되는가?
• RQ3 제안된 세 가지 규칙 기반 보정 알고리즘 변종 간의 성능 차이는 무엇인가?
• RQ4 규칙 선택에 신뢰도와 지지도 임계값을 통합함으로써 보정의 신뢰성이 향상되는가?

주요 결과

• 제안된 알고리즘이 일반적으로 사용되는 모드 보정 방법보다 누락된 범주형 값 예측의 정확도 면에서 뚜렷이 뛰어나다.
• 다수의 규칙을 사용하여 투표하는 변종이 가장 높은 정확도를 보였으며, 이는 공명을 통한 정확도 향상의 효과를 시사한다.
• 연관 규칙의 사용으로 기준 방법 대비 보정 오류율이 유의미하게 감소하였다.
• 다양한 범주형 데이터셋에서 일관된 성능을 보이며, 이는 방법의 일반화 가능성에 대한 검증을 제공한다.