[논문 리뷰] Data quality measurement on categorical data using genetic algorithm

J. Malar Vizhi, T. Bhuvaneswari|arXiv (Cornell University)|2012. 02. 15.

Data Mining Algorithms and Applications참고 문헌 7인용 수 7

한 줄 요약

이 논문은 연관 규칙 마이닝을 활용하여 규칙 생성을 위한 다중 목적 유전 알고리즘(MOGA)을 제안한다. 정확도, 완전성, 이해 가능성, 흥미로움을 최적화함으로써, 효율적인 특성 선택과 다기준 평가를 통해 전역 최적의 규칙을 식별하는 데서 전통적 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Data quality on categorical attribute is a difficult problem that has not received as much attention as numerical counterpart. Our basic idea is to employ association rule for the purpose of data quality measurement. Strong rule generation is an important area of data mining. Association rule mining problems can be considered as a multi objective problem rather than as a single objective one. The main area of concentration was the rules generated by association rule mining using genetic algorithm. The advantage of using genetic algorithm is to discover high level prediction rules is that they perform a global search and cope better with attribute interaction than the greedy rule induction algorithm often used in data mining. Genetic algorithm based approach utilizes the linkage between association rule and feature selection. In this paper, we put forward a Multi objective genetic algorithm approach for data quality on categorical attributes. The result shows that our approach is outperformed by the objectives like accuracy, completeness, comprehensibility and interestingness.

연구 동기 및 목표

• 범주형 데이터의 데이터 품질 측정 문제는 수치형 데이터 품질 연구에 비해 다루어지지 않은 채로 남아 있다.
• 복잡한 속성 간 상호작용을 포착하지 못하는 탐욕적 규칙 유도 알고리즘의 한계를 극복한다.
• 범주형 데이터셋에서 고품질의 연관 규칙를 식별하기 위한 확장성 있고 전역 최적화 접근법을 개발한다.
• 정확도, 완전성, 이해 가능성, 흥미로움이라는 다중 데이터 품질 목표를 동시에 최적화한다.
• 특성 선택을 연관 규칙 마이닝과 통합하여 규칙의 관련성 향상과 중복 감소를 도모한다.

제안 방법

• 규칙 품질을 다중 기준의 함수로 간주하여 데이터 품질 측정을 다중 목적 최적화 문제로 공식화한다.
• 탐욕적 접근에서 흔히 발생하는 국소 최적해를 피하기 위해 규칙 공간 전역 탐색을 수행하는 유전 알고리즘을 적용한다.
• 후보 규칙를 유전 알고리즘의 염색체로 표현하며, 유전자는 아이템세트와 규칙 조건을 나타낸다.
• 생성된 규칙의 정확도, 완전성, 이해 가능성, 흥미로움을 종합 평가하는 적합도 함수를 정의한다.
• 세대에 걸쳐 규칙 집단을 진화시키기 위해 선택, 교차, 변이와 같은 유전 연산자를 사용한다.
• 차원 축소를 통해 규칙의 해석 가능성과 관련성을 향상시키기 위해 특성 선택 기법을 통합한다.

실험 결과

연구 질문

• RQ1 다중 목적 유전 알고리즘이 다중 규칙 품질 기준을 최적화하여 범주형 데이터의 데이터 품질 측정에 효과적으로 기여할 수 있는가?
• RQ2 제안된 MOGA 기반 접근법은 전통적인 단일 목적 또는 탐욕적 규칙 유도 방법에 비해 규칙 품질과 커버리지 측면에서 어떻게 비교되는가?
• RQ3 연관 규칙 마이닝과 특성 선택 간의 연계성이 데이터 품질 측정에 어느 정도 향상되는가?
• RQ4 유전 알고리즘이 범주형 데이터의 복잡한 속성 간 상호작용을 반영하는 고수준의 전역 최적 규칙을 발견할 수 있는가?
• RQ5 정확도, 완전성, 이해 가능성, 흥미로움이라는 목표들이 함께 작용할 때 추출된 규칙의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 다중 목적 유전 알고리즘이 범주형 데이터에 대한 고품질 연관 규칙 생성에서 기존 방법보다 뛰어난 성능을 발휘한다.
• 전역 최적화를 통해 더 넓은 해 공간을 탐색함으로써 정확도와 완전성이 향상된다.
• MOGA 기반 접근법을 통해 생성된 규칙는 효과적인 특성 선택과 중복 감소 덕분에 더 높은 이해 가능성을 보였다.
• 이 방법은 규칙의 흥미로움과 복잡성 간의 트레이드오프를 성공적으로 균형 잡아 더 의미 있는 패턴을 도출했다.
• 데이터 품질 측정을 다중 목적 문제로 간주할 경우 더 견고하고 해석 가능한 규칙 세트를 도출할 수 있음을 확인했다.
• 연구는 특히 복잡한 속성 간 의존성이 있는 범주형 데이터에서 예측 규칙을 추출하는 데에 적합한 도구로 진화 알고리즘이 잘 활용될 수 있음을 입증했다.