[논문 리뷰] A Markov Chain based Ensemble Method for Crowdsourced Clustering

Sujoy Chatterjee, Enakshi Kundu외 1명|arXiv (Cornell University)|2016. 09. 06.

Advanced Clustering Algorithms Research참고 문헌 11인용 수 4

한 줄 요약

이 논문은 어려운 이미지 데이터셋에 대해 강력한 공통 클러스터링을 생성하기 위해 인과적 클러스터링 솔루션을 활용하는 마르코프 체인 기반 앙상블 방법을 제안한다. 표준화된 클러스터 레이블을 Adjusted Rand Index (ARI)를 사용하여 정규화하고, 솔루션 유사도에 가중치를 부여한 개체 기반 전이 행렬을 구성하며, 정적 분포를 계산하여 최종 클러스터 레이블을 할당함으로써, 기존 앙상블 알고리즘보다 뛰어난 클러스터링 품질을 달성한다. 이는 버런스케일 데이터셋에서 ARI 0.1767을 기록한다.

ABSTRACT

In presence of multiple clustering solutions for the same dataset, a clustering ensemble approach aims to yield a single clustering of the dataset by achieving a consensus among the input clustering solutions. The goal of this consensus is to improve the quality of clustering. It has been seen that there are some image clustering tasks that cannot be easily solved by computer. But if these images can be outsourced to the general people (crowd workers) to group them based on some similar features, and opinions are collected from them, then this task can be managed in an efficient manner and time effective way. In this work, the power of crowd has been used to annotate the images so that multiple clustering solutions can be obtained from them and thereafter a Markov chain based ensemble method is introduced to make a consensus of multiple clustering solutions.

연구 동기 및 목표

• 자동화된 시스템이 정확하게 분류하기 어려운 복잡하고 모호한 이미지를 클러스터링하는 데 도전하는 것.
• 어려운 이미지 데이터셋에 대해 다양한 클러스터링 솔루션을 생성하기 위해 커뮤니티 워커의 인간 지능을 활용하는 것.
• 다수의 커뮤니티 기반 클러스터링 솔루션을 하나의 고품질 공통 클러스터링으로 융합하는 강력한 앙상블 방법을 개발하는 것.
• 표준화된 레이블을 Adjusted Rand Index (ARI)를 사용하고 기준 클러스터링 솔루션을 선택하여 커뮤니티 워커 간의 레이블 일관성 문제를 해결하는 것.
• 마르코프 체인을 통해 개체 기반 클러스터 전이를 모델링하고 정적 분포를 계산하여 최종 레이블 할당을 위한 성능을 향상시키는 것.

제안 방법

• 복잡한 이미지 데이터셋에서 고정된 수의 클러스터를 가진 상태에서 25명의 커뮤니티 워커로부터 클러스터링 솔루션을 수집하기 위한 크라우드소싱 플랫폼을 설계하였다.
• 모든 워커의 클러스터 레이블은 다른 솔루션들에 비해 가장 높은 ARI 점수를 기록한 기준 클러스터링 솔루션을 기준으로 표준화되었다.
• 크기 $ n \times n $ 의 개체 기반 전이 행렬을 구성하였으며, 여기서 $ T_{ij} $ 는 클러스터 $ i $ 에서 $ j $ 로의 전이 확률을 의미하며, 각 입력 클러스터링 솔루션의 정규화된 ARI 유사도에 의해 가중되었다.
• 수렴 가능한 정적 분포를 확보하기 위해 전이 행렬에 균일한 보정 항을 추가하여 에르고딕성을 확보하였다.
• 각 데이터 개체에 대해 정적 분포 $ sd_y $ 를 반복적으로 계산하였으며, $ sd_y \leftarrow sd_y \cdot T $ 를 통해 업데이트하고, 최종 레이블로 확률이 가장 높은 클러스터 레이블을 할당하였다.
• 모든 개체에 대해 이 과정을 반복하여 최종 공통 클러스터링 솔루션을 생성하였다.

실험 결과

연구 질문

• RQ1 마르코프 체인 기반 앙상블 방법은 다양한 커뮤니티 워커의 클러스터링 솔루션을 효과적으로 융합하여 더 높은 품질의 공통 클러스터링을 생성할 수 있는가?
• RQ2 클러스터링 솔루션을 융합할 때, 이 방법은 커뮤니티 워커 간의 레이블 불일치 문제를 어떻게 다루는가?
• RQ3 CSPA, HGPA, MCLA, BCE와 같은 기존 앙상블 알고리즘에 비해 이 방법의 클러스터링 유효성 지표 측면에서 성능 향상은 어느 정도인가?
• RQ4 ARI 가중 전이 행렬과 정적 분포 모델링을 사용함으로써 공통 클러스터링의 강건성은 얼마나 향상되는가?
• RQ5 모호한 이미지 그룹화가 있는 실세계 데이터셋에 적용했을 때, 이 방법의 성능은 어느 정도로 확장 가능한가?

주요 결과

• 제안된 방법은 버런스케일 데이터셋에서 Adjusted Rand Index (ARI) 0.1767을 기록하여 CSPA (0.1579), HGPA (0.1482), MCLA (0.0118), BCE (0.0830) 를 모두 초월하였다.
• Rand Index (RI) 0.6071 을 기록하여 비교된 모든 알고리즘보다 높았으며, 이는 더 나은 전반적인 클러스터링 일치도를 의미한다.
• Mirkin Index (MI) 0.3929 는 제안된 방법이 기존 방법보다 더 낮은 오분류 오차를 가진 공통 클러스터링을 생성함을 보여준다.
• Hubert Index (HI) 0.2141 은 제안된 방법이 CSPA (0.1883), HGPA (0.0431), MCLA (0.1971), BCE (0.1232) 보다 더 정확한 공통 솔루션을 도출함을 확인한다.
• 결과는 마르코프 체인 기반 앙상블 방법이 다양한 커뮤니티 기반 클러스터링 솔루션을 효과적으로 활용하여 더 강력하고 정확한 공통 클러스터링을 생성할 수 있음을 보여준다.
• ARI 기반 가중치와 에르고딕 전이 행렬의 사용은 안정적인 수렴과 향상된 레이블 할당 정확도를 가능하게 한다.