[논문 리뷰] Document Clustering using Sequential Information Bottleneck Method

P. J. Gayathri, S. Punitha외 1명|arXiv (Cornell University)|2010. 04. 11.

Advanced Clustering Algorithms Research참고 문헌 13인용 수 3

한 줄 요약

이 논문은 순차적 정보 봉쇄(sequential Information Bottleneck, sIB)와 수정된 주성분 분할 분할 알고리즘(Principal Direction Divisive Partitioning, PDDP)을 통합하여 문서 군집화 정확도와 강건성을 향상시키는 새로운 문서 군집화 방법을 제안한다. sIB를 통해 군집 재할당을 수행하고, 베이지안 정보 기준(Bayesian Information Criterion, BIC)을 사용하여 최적의 군집 수를 추정함으로써 PDDP의 나쁜 초기 분할에 대한 민감도를 감소시켜, 계산 비용을 통제하면서도 기준 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

This paper illustrates the Principal Direction Divisive Partitioning (PDDP) algorithm and describes its drawbacks and introduces a combinatorial framework of the Principal Direction Divisive Partitioning (PDDP) algorithm, then describes the simplified version of the EM algorithm called the spherical Gaussian EM (sGEM) algorithm and Information Bottleneck method (IB) is a technique for finding accuracy, complexity and time space. The PDDP algorithm recursively splits the data samples into two sub clusters using the hyper plane normal to the principal direction derived from the covariance matrix, which is the central logic of the algorithm. However, the PDDP algorithm can yield poor results, especially when clusters are not well separated from one another. To improve the quality of the clustering results problem, it is resolved by reallocating new cluster membership using the IB algorithm with different settings. IB Method gives accuracy but time consumption is more. Furthermore, based on the theoretical background of the sGEM algorithm and sequential Information Bottleneck method(sIB), it can be obvious to extend the framework to cover the problem of estimating the number of clusters using the Bayesian Information Criterion. Experimental results are given to show the effectiveness of the proposed algorithm with comparison to the existing algorithm.

연구 동기 및 목표

• 잘 분리되지 않은 군집을 다루는 데에 어려움을 겪는 PDDP 알고리즘의 한계를 해결하기 위해.
• 상호정보량 최대화 기반으로 동적 군집 재할당을 수행함으로써 군집 정확도를 향상시키기 위해.
• 베이지안 정보 기준(Bayesian Information Criterion, BIC)을 사용하여 최적의 군집 수를 추정하는 프레임워크를 개발하기 위해.
• 간소화된 구면 정규분포 기반 기계학습( simplified spherical Gaussian EM, sGEM) 방법을 통해 IB의 계산 부담을 줄이면서도 정확도를 유지하기 위해.
• 실험 결과를 바탕으로 제안된 방법을 기존 군집화 알고리즘과 비교하기 위해.

제안 방법

• PDDP 알고리즘이 데이터를 공분산 행렬의 주성분 방향에 따라 반복적으로 분할하는 데에 사용된다.
• 정보 봉쇄(IB) 방법이 상호정보량 최대화 기반으로 문서를 군집에 재할당하기 위해 적용된다.
• IB 과정의 효율성을 향상시키기 위해 간소화된 구면 정규분포 기반 기계학습(simplified spherical Gaussian EM, sGEM) 알고리즘이 사용된다.
• 순차적 정보 봉쇄(sIB) 방법이 반복적으로 군집 할당을 정밀하게 조정하고 수렴성을 향상시키기 위해 활용된다.
• 베이지안 정보 기준(Bayesian Information Criterion, BIC)이 데이터 내 최적의 군집 수를 추정하기 위해 적용된다.
• PDDP, sIB, BIC를 통합하여 개선된 강건성과 정확도를 확보한 유일한 군집화 파이프라인으로 구성된다.

실험 결과

연구 질문

• RQ1 IB 방법을 PDDP와 통합함으로써 문서 데이터셋에서 군집 정확도를 향상시킬 수 있는가?
• RQ2 제안된 방법은 F-측정과 정규화된 상호정보량 측면에서 PDDP 및 기타 기준 군집화 알고리즘과 비교해 어떻게 성능을 냈는가?
• RQ3 sIB 기반 재할당은 나쁜 초기 군집 분할에 대한 민감도를 어느 정도 감소시키는가?
• RQ4 BIC 기준은 문서 데이터에서 진정한 군집 수를 효과적으로 추정할 수 있는가?
• RQ5 sGEM의 사용은 정확도를 희생시키지 않고 IB 과정의 효율성을 향상시키는가?

주요 결과

• 제안된 방법은 기준 PDDP 알고리즘보다 더 높은 F-측정과 정규화된 상호정보량 점수를 달성한다.
• IB를 PDDP와 통합함으로써 군집 품질이 크게 향상되며, 특히 겹치거나 잘 분리되지 않은 군집의 경우 두드러진 성능 향상을 보인다.
• sGEM의 사용은 IB 과정의 계산 비용을 감소시키면서도 높은 정확도를 유지한다.
• BIC 기준은 테스트한 문서 데이터셋에서 군집 수를 성공적으로 추정하였다.
• 순차적 IB 프레임워크는 군집 할당의 반복적 정밀 조정을 가능하게 하여 보다 안정적이고 정확한 군집 결과를 이끌어낸다.
• 실험 결과는 제안된 방법이 군집 품질과 강건성 측면에서 기존 알고리즘을 능가함을 입증한다.