[논문 리뷰] A Novel Approach for Imputation of Missing Attribute Values for Efficient Mining of Medical Datasets - Class Based Cluster Approach

Yelipe UshaRani, P. Sammulal|arXiv (Cornell University)|2016. 05. 03.

Artificial Intelligence in Healthcare참고 문헌 15인용 수 7

한 줄 요약

이 논문은 의료 데이터셋에서 누락된 속성 값을 보정하기 위한 새로운 클래스 기반 클러스터링 방법을 제안하며, 데이터 품질 향상과 효율적인 마이닝을 지원한다. 유사한 의료 기록을 클래스 레이블 기반으로 군집화하고, 클러스터 중심값을 사용해 누락된 값을 추정함으로써 차원 축소를 실현하고 분류 정확도를 향상시킨다. 실제 의료 데이터에 대한 사례 연구를 통해 이를 입증하였다.

ABSTRACT

Missing attribute values are quite common in the datasets available in the literature. Missing values are also possible because all attributes values may not be recorded and hence unavailable due to several practical reasons. For all these one must fix missing attribute vales if the analysis has to be done. Imputation is the first step in analyzing medical datasets. Hence this has achieved significant contribution from several medical domain researchers. Several data mining researchers have proposed various methods and approaches to impute missing values. However very few of them concentrate on dimensionality reduction. In this paper, we discuss a novel imputation framework for missing values imputation. Our approach of filling missing values is rooted on class based clustering approach and essentially aims at medical records dimensionality reduction. We use these dimensionality records for carrying prediction and classification analysis. A case study is discussed which shows how imputation is performed using proposed method.

연구 동기 및 목표

• 의료 데이터셋에서 누락된 속성 값의 문제를 다루어 효과적인 데이터 마이닝과 분석을 방해하는 요소를 해결한다.
• 새로운 보정 프레임워크를 통해 임상적 의미를 유지하면서 데이터 차원을 축소한다.
• 클래스 기반 클러스터링을 활용한 보정을 통해 분류 및 예측 작업의 정확도를 향상시킨다.
• 실제 의료 데이터에서 높은 누락 값 비율을 보이는 환경에 특화된 강력하고 확장 가능한 솔루션을 제공한다.

제안 방법

• 이 방법은 유사한 클래스 레이블(예: 질병 결과)을 가진 의료 기록을 클러스터로 군집화하는 클래스 기반 클러스터링을 적용한다.
• 각 클러스터 내에서 가용한 속성 기반으로 클러스터 중심값을 사용해 누락된 속성 값을 보정한다.
• 관련성 있고 군집화된 특성 부분집합에 집중함으로써 차원 축소를 통합하여 노이즈와 중복을 최소화한다.
• 반복적으로 보정을 수행하여 클러스터 특화 패턴을 활용하고 오류 전파를 최소화한다.
• 실제 의료 데이터셋을 사용해 검증하였으며, 보정 후 분류 성능을 평가하였다.
• 계산 효율성이 뛰어나 대규모 의료 데이터 응용에 적합하도록 설계되었다.

실험 결과

연구 질문

• RQ1 의료 데이터셋에서 누락된 속성 값을 보정할 때 임상적 데이터 의미를 유지하면서 효과적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 伝통적 방법에 비해 클래스 기반 클러스터링이 보정 정확도에 얼마나 기여하는가?
• RQ3 의료 분류 작업에서 예측 성능을 훼손하지 않으면서도 제안된 방법이 데이터 차원을 어떻게 축소할 수 있는가?
• RQ4 실제 의료 데이터셋에서 보정 프레임워크가 후속 분류 및 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 클래스 기반 클러스터링 보정 방법은 의료 데이터셋에서 누락된 값의 영향을 줄여 데이터 품질을 크게 향상시킨다.
• 클러스터 중심값을 사용한 보정은 평균 보정이나 KNN과 같은 기준 방법보다 높은 분류 정확도를 달성한다.
• 클래스별 특성 패턴에 집중함으로써 관련성 있는 정보만을 활용해 데이터 차원을 효과적으로 축소한다.
• 실제 의료 데이터셋에 대한 사례 연구에서 보정 후 분류 작업에서 성능 향상이 확인되었다.
• 높은 누락 값 비율을 처리하는 데 있어 임상적 해석 가능성도 유지하면서 뛰어난 내성성을 보였다.
• 프레임워크는 확장성이 뛰어나 의료 데이터 마이닝 파이프라인에 통합하기에 적합하다.