[논문 리뷰] Interactive Bayesian Hierarchical Clustering

Sharad Vikram, Sanjoy Dasgupta|arXiv (Cornell University)|2016. 02. 10.

Advanced Clustering Algorithms Research참고 문헌 31인용 수 7

한 줄 요약

이 논문은 사용자가 지정한 삼중항 제약 조건(예: \{a,b\},c는 a와 b가 c와 함께 클러스터링되어야 함을 나타냄)을 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용한 딜리클 유도수 나무(DDT) 프레임워크에 통합하는 상호작용형 베이지안 계층적 클러스터링 방법을 제안한다. 고분산 부분수열을 적극적으로 선택하여 사용자 피드백을 제공함으로써, 알고리즘은 실질적 데이터셋인 MNIST와 피셔 아이ris에서 기존의 순수 DDT 및 평균 연결 방법에 비해 데이터 가능도와 삼중항 거리 측면에서 더 빠르게 목표 계층을 수렴한다.

ABSTRACT

Clustering is a powerful tool in data analysis, but it is often difficult to find a grouping that aligns with a user's needs. To address this, several methods incorporate constraints obtained from users into clustering algorithms, but unfortunately do not apply to hierarchical clustering. We design an interactive Bayesian algorithm that incorporates user interaction into hierarchical clustering while still utilizing the geometry of the data by sampling a constrained posterior distribution over hierarchies. We also suggest several ways to intelligently query a user. The algorithm, along with the querying schemes, shows promising results on real data.

연구 동기 및 목표

• 사용자 특정 그룹화 선호도와 일치하지 않는 비지도 계층적 클러스터링의 문제를 해결한다.
• 기존의 제약 조건이 부여된 클러스터링 방법은 주로 평면 클러스터링에 국한되어 있으며 계층적 구조에는 적용되지 않는 한계를 극복한다.
• 데이터 기하학과 삼중항 제약 조건을 통한 점진적 사용자 피드백을 결합한 베이지안 프레임워크를 설계하여 계층적 트리 구조를 정밀하게 개선한다.
• 사용자 노력 최소화와 동시에 목표 계층으로의 수렴 속도 최대화를 위한 지능적인 질의 전략을 개발한다.
• 데이터 기반의 구조와 사용자 의도를 균형 잡는 제약 조건 기반 사후 샘플링을 통한 사용자-중심 상호작용형 계층적 클러스터링을 가능하게 한다.

제안 방법

• 계층적 클러스터링에 대한 사전 분포로 딜리클 유도수 나무(DDT)를 채택하여 트리 구조에 대한 비모수 베이지안 추론을 가능하게 한다.
• 사용자가 제공한 삼중항 제약 조건(예: (\{a,b\},c))을 하드 제약 조건으로 포함하여 트리에 대한 제약 사후 분포에서 샘플링하기 위해 메트로폴리스-해스팅스 MCMC 샘플러를 사용한다.
• 샘플된 트리의 구조적 모호성을 측정하기 위해 트리-거리 분산(TDV) 지표를 도입한다: $\text{TDV}(\mathcal{T},S) = \max_{u,v\in S} \mathrm{Var}_{T\in\mathcal{T}}[\texttt{treedist}_{T|_S}(u,v)]$로, 정보가 풍부한 부분수열을 선택하는 데 사용된다.
• 일정한 크기(예: |S|=10)의 부분집합 $S$를 선택하여 TDV가 가장 높은 부분수열을 선별하는 활성 질의 전략을 구현함으로써, 사용자 상호작용 당 정보 수확을 최대화한다.
• 지역 최적화를 방지하고 수렴 속도를 가속화하기 위해 활성 질의와 무작위 질의를 번갈아 가며 혼합한 전략을 구현한다.
• MCMC 탐색을 이끌기 위해 데이터 가능도 획득 함수 $a(t) = 1/(1-t)$를 사용하고, 브라운 운동 파라미터 $\sigma^2$는 데이터로부터 추정한다.

실험 결과

연구 질문

• RQ1 사용자 지도형 삼중항 제약 조건은 베이지안 계층적 클러스터링에 효과적으로 통합되어 목표 트리 구조 학습을 이끌 수 있는가?
• RQ2 알고리즘이 정보 수확을 극대화하고 사용자 노력 최소화를 위해 어떤 부분수열을 사용자에게 제시할 것인가?
• RQ3 트리-거리 분산 기반 활성 부분수열 질의는 랜덤 또는 균일 질의 전략에 비해 더 빠른 수렴을 이끌 수 있는가?
• RQ4 삼중항 제약 조건은 MCMC 샘플러의 수렴성과 데이터 가능도에 얼마나 기여하는가?
• RQ5 실제 데이터셋에서 기준 방법인 순수 DDT 및 평균 연결 방법과 비교해 볼 때 상호작용형 베이지안 계층적 클러스터링의 성능은 어떠한가?

주요 결과

• MNIST와 피셔 아이리스에서 무작위 질의 또는 활성 질의 전용 전략에 비해 무작위와 고분산 부분수열을 번갈아 사용하는 혼합 질의 전략이 더 빠른 수렴과 낮은 삼중항 거리를 달성했다.
• 트리-거리 분산 기반 활성 질의는 수렴 속도를 크게 향상시켜 고품질 트리에 도달하는 데 필요한 반복 수를 줄였다.
• MNIST와 피셔 아이리스에서 상호작용형 방법은 순수 DDT 및 평균 연결 기준보다 더 높은 데이터 가능도를 달성하여 더 나은 사후 근사치를 의미한다.
• 모든 트리를 표시하고 위반된 삼중항을 식별하는 스마트 질의 전략이 시뮬레이션에서 가장 우수한 성능을 보였으며, 최소한의 질의로 가장 낮은 오차를 기록했지만, 큰 트리에는 비현실적이다.
• 샘플러가 제약 조건에서 학습함에 따라 데이터 가능도가 시간이 지남에 따라 급격히 증가했으며, 이는 삼중항 제약 조건이 MCMC가 열악한 국소 최적해에서 벗어나도록 돕는다는 것을 시사한다.
• 적절하게 제약 조건이 통합된 경우, 20 Newsgroups와 Zoo를 포함한 모든 테스트 데이터셋에서 알고리즘이 목표 계층 $T^*$로 성공적으로 수렴했다.