[논문 리뷰] Clustering with Missing Features: A Penalized Dissimilarity Measure based approach

Shounak Datta, Supritam Bhattacharjee외 1명|arXiv (Cornell University)|2016. 04. 22.

Advanced Clustering Algorithms Research인용 수 5

한 줄 요약

이 논문은 누락된 특징이 있는 데이터셋에 대해 보정된 비유사도 측정법인 특징 가중 페널티 기반 비유사도(FWPD)를 제안하여, 보정 또는 보정 없이도 k-means 및 계층적 응집형 군집화를 직접 수행할 수 있도록 한다. FWPD는 누락되거나 존재하지 않는 특징에 따라 비유사도를 보정함으로써 수렴성을 보장하고, 다양한 누락 유형을 가진 벤치마크 데이터셋에서 표준 보정 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Many real-world clustering problems are plagued by incomplete data characterized by missing or absent features for some or all of the data instances. Traditional clustering methods cannot be directly applied to such data without preprocessing by imputation or marginalization techniques. In this article, we overcome this drawback by utilizing a penalized dissimilarity measure which we refer to as the Feature Weighted Penalty based Dissimilarity (FWPD). Using the FWPD measure, we modify the traditional k-means clustering algorithm and the standard hierarchical agglomerative clustering algorithms so as to make them directly applicable to datasets with missing features. We present time complexity analyses for these new techniques and also undertake a detailed theoretical analysis showing that the new FWPD based k-means algorithm converges to a local optimum within a finite number of iterations. We also present a detailed method for simulating random as well as feature dependent missingness. We report extensive experiments on various benchmark datasets for different types of missingness showing that the proposed clustering techniques have generally better results compared to some of the most well-known imputation methods which are commonly used to handle such incomplete data. We append a possible extension of the proposed dissimilarity measure to the case of absent features (where the unobserved features are known to be undefined).

연구 동기 및 목표

• 보정 또는 국소화 없이 누락된 특징이 있는 데이터셋에 대한 군집화 문제를 해결하기 위해.
• 특징 빈도와 구조적 부재에 기반하여 누락된 특징에 적절한 보정을 적용하는 비유사도 측정법을 개발하기 위해.
• 기존의 k-menees 및 계층적 응집형 군집화 알고리즘을 FWPD를 사용하여 직접적으로 불완전한 데이터와 함께 작동하도록 적응시키기 위해.
• FWPD 기반 k-means 알고리즘이 유한한 반복 횟수 내에 국소 최적해로 수렴한다는 것을 이론적으로 증명하기 위해.
• 랜덤 및 특징 기반 누락 패턴 하에서 다양한 벤치마크 데이터셋에서 성능을 평가하고, 기존의 보정 기법들과의 비교를 통해 유리한 성능을 보이기 위해.

제안 방법

• 각 특징을 갖는 인스턴스 수에 기반한 정규화된 보정 항으로서 특징 가중 페널티(FWP)를 제안하며, 희귀한 특징일수록 더 강하게 보정한다.
• 정규화된 유클리드 거리와 FWP의 볼록 조합으로서 특징 가중 페널티 기반 비유사도(FWPD)를 정의하며, 하이퍼파rameter α가 두 성분을 균형 조절한다.
• 기존의 거리 측정법을 FWPD로 교체하여 표준 k-means 및 계층적 응집형 군집화 알고리즘을 불완전한 데이터를 직접 처리할 수 있도록 적응시킨다.
• 특징이 정의되어 있지 않은 것으로 알려진 구조적 누락의 경우를 위해 수정된 FWPD를 도입하며, 비중복 특징 집합에 대해 보정을 적용한다.
• 이론적 분석을 통해 FWPD 기반 k-means 알고리즘이 유한한 반복 횟수 내에 국소 최적해로 수렴하며, 준거리성 성질을 만족함을 증명한다.
• 실험적 검증을 위해 랜덤 및 특징 기반 누락 패턴을 생성하는 시뮬레이션 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 보정 또는 국소화 없이도 누락된 특징을 효과적으로 다룰 수 있는 비유사도 측정법을 설계할 수 있는가?
• RQ2 제안된 FWPD 측정법은 다양한 누락 패턴 하에서 표준 보정 기법과 비교해 군집 정확도에서 어떤 성능을 보이는가?
• RQ3 FWPD 기반 k-means 알고리즘은 국소 최적해로 수렴하는가? 이는 이론적으로 증명될 수 있는가?
• RQ4 MCAR, MAR, MNAR와 같은 다양한 유형의 누락 및 특징 의존성 하에서 FWPD 기반 군집화의 성능은 어떻게 변화하는가?
• RQ5 특징이 정의되어 있지 않은 것으로 알려진 구조적 누락을 다룰 수 있도록 FWPD를 확장할 수 있는가?

주요 결과

• 이론적으로 증명된 lin에 따라 FWPD 기반 k-means 알고리즘이 유한한 반복 횟수 내에 국소 최적해로 수렴한다.
• 다양한 누락 시나리오 하에서 여러 벤치마크 데이터셋에서 몇 가지 잘 알려진 보정 기법보다 더 뛰어난 군집 성능을 달성한다.
• FWPD 측정법은 특징의 빈도에 따라 누락된 특징을 효과적으로 보정하며, 희귀한 특징에 더 높은 가중치를 부여함으로써 군집의 강건성을 향상시킨다.
• 특징 기반 누락이 존재하더라도 보정 기반 접근법보다 뛰어난 성능을 보이며, 복잡한 누락 메커니즘에 대한 내성성을 입증한다.
• 특징이 정의되어 있지 않은 것으로 알려진 구조적 누락에 대해 FWPD를 확장함으로써 준거리성 성질을 유지하고, 정의되지 않은 특징이 있는 데이터셋에 직접 군집화를 가능하게 한다.
• 실험 결과, 특히 누락 비율이 높을 경우, FWPD 기반 군집화가 보정 기반 대안보다 더 정확하고 안정적인 성능을 보임을 확인하였다.