[논문 리뷰] Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation

Akash Srivastava, James Zou외 2명|arXiv (Cornell University)|2016. 06. 19.

Machine Learning and Algorithms참고 문헌 25인용 수 8

한 줄 요약

이 논문은 분석자가 만족스럽지 않은 결과를 단순히 거부하기만 하여도 다양한 고품질 클러스터링을 탐색할 수 있도록 해주는 TINDER라는 새로운 상호작용 클러스터링 프레임워크를 소개한다. 거부 피드백을 베이지안 사전 확률 추출로 모델링함으로써 TINDER는 반복적으로 클러스터링 사전 확률를 수정하여 점점 더 다른데도 데이터에 적합한 클러스터링을 생성하며, 다양성 면에서 무작위 재시작보다 뚜렷이 뛰어나면서도 수용 가능한 클러스터링 품질을 유지한다.

ABSTRACT

A good clustering can help a data analyst to explore and understand a data set, but what constitutes a good clustering may depend on domain-specific and application-specific criteria. These criteria can be difficult to formalize, even when it is easy for an analyst to know a good clustering when they see one. We present a new approach to interactive clustering for data exploration called TINDER, based on a particularly simple feedback mechanism, in which an analyst can reject a given clustering and request a new one, which is chosen to be different from the previous clustering while fitting the data well. We formalize this interaction in a Bayesian framework as a method for prior elicitation, in which each different clustering is produced by a prior distribution that is modified to discourage previously rejected clusterings. We show that TINDER successfully produces a diverse set of clusterings, each of equivalent quality, that are much more diverse than would be obtained by randomized restarts.

연구 동기 및 목표

• 탐색적 데이터 분석에서 '좋은' 클러스터링을 정의하는 데 어려움이 있으며, 이 경우 사용자의 직관이 형식화된 기준을 초월하는 경향이 있기 때문에 이를 해결하기 위해.
• 정확한 향상 목표를 설정할 필요 없이 분석자가 여러 질적으로 다른 클러스터링을 탐색할 수 있도록 하기 위해.
• 사용자 거부 피드백을 베이지안 클러스터링 프레임워크에서 사전 확률 추출의 수단으로 공식화하기 위해.
• 서로 체계적으로 다른 다양한 고품질 클러스터링 세트를 생성하기 위해.
• 상호작용적 클러스터링과 대안적 클러스터링을 연결하기 위해, 구축하지 않는 피드백(거부)을 가능하게 하면서도 클러스터링 품질을 유지하기 위해.

제안 방법

• 분석자가 클러스터링을 거부하고 새로운 클러스터링을 요청하는 피드백 루프를 사용한다. 이는 재클러스터링 과정을 유도한다.
• 각 신규 클러스터링은 이전에 거부된 클러스터링과의 유사성을 방지하도록 사전 분포를 수정하여 생성된다.
• 베이지안 프레임워크를 활용하며, 사전 확률는 새로운 클러스터링과 거부된 클러스터링 간의 상호정보량에 비례하는 페널티 항을 사용하여 업데이트된다.
• 온도 파라미터 β를 통해 페널티 항을 스케일링하여 다양성과 데이터 적합성의 균형을 맞추며, 새로운 클러스터링이 정량적으로도 양호함을 보장한다.
• 거부된 클러스터링의 역사를 유지하고 누적 페널티를 적용하여 모든 반복 과정에서 다양성을 증진한다.
• 표준 알고리즘(예: GMM)을 사용하여 클러스터링을 수행하며, 목적 함수에 다양성 촉진 페널티를 추가로 포함시킨다.

실험 결과

연구 질문

• RQ1 간단한 거부 기반 피드백 메커니즘이 다양한 고품질 클러스터링 탐색을 효과적으로 이끌 수 있는가?
• RQ2 사용자 거부 피드백은 베이지안 클러스터링 모델에서 어떻게 사전 확률 추출로 공식화될 수 있는가?
• RQ3 TINDER는 랜덤 재시작 대비 얼마나 더 뛰어난 클러스터링 다양성을 제공하는가?
• RQ4 TINDER는 다양한 결과를 생성하면서도 수용 가능한 클러스터링 품질을 유지할 수 있는가?
• RQ5 온도 파라미터 β는 다양성과 클러스터링 정확성 간의 상호보완적 관계에 어떻게 영향을 미치는가?

주요 결과

• TINDER는 랜덤 재시작 대비 클러스터링 간의 유사도가 현저히 낮아, 쌍별 클러스터 할당에서 50% 이상의 감소를 보였다.
• TINDER에서 연속적인 클러스터링의 다양성(ARS로 측정)은 기준보다 뚜렷이 높으며, 그림 2의 중간 플롯에서 이를 확인할 수 있다.
• TINDER가 생성한 클러스터링 세트의 총괄 다양성은 뚜렷이 뛰어나며, 그림 2의 실선 빨간색 선은 모든 쌍 간에 지속적으로 낮은 겹침을 보여준다.
• TINDER는 이와 같은 다양성을 유지하면서도 합리적인 클러스터링 품질을 확보하였으며, 순도 점수는 기준 대비 약간 감소했지만 여전히 수용 가능한 수준을 유지하였다.
• 이론적으로, β를 설정하여 페널티 항과 로그우도를 균형 잡음으로써 다양성과 데이터 적합성 간의 효과적인 트레이드오프를 확보하였다.
• 경험적으로, β를 설정하여 페널티 항과 로그우도를 균형 잡음으로써 다양성과 데이터 적합성 간의 효과적인 트레이드오프를 확보하였다.