[논문 리뷰] A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting

Elaheh Rashedi, Abdolreza Mirzaei|arXiv (Cornell University)|2018. 05. 29.

Face and Expression Recognition참고 문헌 17인용 수 7

한 줄 요약

이 논문은 가중 부트스트랩 샘플링을 통해 반복적으로 다양한 계층적 군집을 생성하고 공통의 이질성 행렬을 통해 이를 조합함으로써 안정성과 품질을 향상시키는 새로운 부스팅 기반의 다중 군집 방법을 제안한다. 실제 데이터셋에서의 실험 결과, 기존 표준 계층적 군집화 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Bagging and boosting are proved to be the best methods of building multiple classifiers in classification combination problems. In the area of "flat clustering" problems, it is also recognized that multi-clustering methods based on boosting provide clusterings of an improved quality. In this paper, we introduce a novel multi-clustering method for "hierarchical clusterings" based on boosting theory, which creates a more stable hierarchical clustering of a dataset. The proposed algorithm includes a boosting iteration in which a bootstrap of samples is created by weighted random sampling of elements from the original dataset. A hierarchical clustering algorithm is then applied to selected subsample to build a dendrogram which describes the hierarchy. Finally, dissimilarity description matrices of multiple dendrogram results are combined to a consensus one, using a hierarchical-clustering-combination approach. Experiments on real popular datasets show that boosted method provides superior quality solutions compared to standard hierarchical clustering methods.

연구 동기 및 목표

• 표준 계층적 군집화 방법의 불안정성과 최적화되지 않은 품질 문제를 해결하기 위해.
• 플랫 군집화에서 계층적 군집화로의 부스팅 이론을 확장하여 더 높은 내구성을 확보하기 위해.
• 반복적 샘플링을 통해 다양하고 고품질의 계층적 군집을 생성하는 다중 군집 프레임워크를 개발하기 위해.
• 계층적 군집 조합 전략을 사용하여 다수의 계층적 군집을 하나의 안정적인 공통 계층으로 통합하기 위해.
• 실제 세계 데이터셋에서 기존 계층적 군집화 방법에 비해 본 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 본 방법은 원본 데이터셋으로부터 가중 무작위 샘플링을 통해 부트스트랩 샘플을 생성하는 방식으로 반복적 부스팅을 구현한다.
• 각 부트스트랩 샘플에 대해 계층적 군집 알고리즘을 적용하여 계층적 군집을 나타내는 계층도를 생성한다.
• 각 결과 계층도에서 이질성 행렬을 추출하여 군집 구조를 표현한다.
• 다양한 반복 과정에서 생성된 다수의 이질성 행렬을 계층적 군집 조합 전략을 사용하여 공통의 이질성 행렬로 통합한다.
• 최종 공통 계층은 공통 이질성 행렬에서 파생되며, 이로 인해 안정성과 향상된 군집 품질이 보장된다.
• 부스팅 과정은 반복 과정 동안 잘못 군집화되거나 덜 안정적인 요소들을 강조하여 전체 군집의 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 부스팅 원리가 계층적 군집화의 안정성과 품질 향상에 효과적으로 적용될 수 있는가?
• RQ2 반복적 부트스트랩 샘플링을 통한 다중 군집화가 계층적 군집화의 내구성을 어떻게 향상시키는가?
• RQ3 공통 이질성 행렬을 통해 다수의 계층적 군집을 통합할 경우 단일 계층적 군집화에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법이 기존 표준 계층적 군집화 기법에 비해 실제 데이터셋에서 더 높은 군집 품질을 달성하는가?
• RQ5 부스팅 과정에서의 가중치가 생성된 계층적 군집의 다양성과 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 부스팅 기반의 다중 군집 방법은 표준 계층적 군집화 방법보다 더 안정적이고 고품질의 계층적 군집을 생성한다.
• 공통 이질성 행렬은 다양한 계층적 군집을 하나의 견고한 계층적 구조로 효과적으로 통합한다.
• 실제 인기 있는 데이터셋에서의 실험 결과, 기준 방법에 비해 군집 품질 향상이 일관되게 관찰되었다.
• 반복적 부스팅 과정은 어려운 군집화 대상 요소들에 집중하여 더 나은 전반적 분할을 이끌어냈다.
• 집합적 특성 덕분에 다수의 실행에서 높은 안정성을 확보하였다.
• 결과는 부스팅 이론이 플랫 군집화에서 계층적 군집화로 효과적으로 확장 가능하며, 성능 향상이 측정 가능하다는 것을 확인시켰다.