[논문 리뷰] Document Clustering using K-Medoids

Monica Jha|arXiv (Cornell University)|2015. 04. 06.

Advanced Clustering Algorithms Research참고 문헌 7인용 수 5

한 줄 요약

이 논문은 정보 검색 및 요약 향상을 위해 유사한 문서를 군집화하기 위해 K-메도이드 군집화 알고리즘을 사용하는 것을 제안한다. 실제 데이터 포인트를 군집 중심(메도이드)으로 선택함으로써 K-Means에 비해 노이즈와 이방치에 더 강건한 성능을 발휘하며, 대규모 문서 컬렉션을 조직하는 데 있어 더 높은 군집 밀도와 정확도를 달성한다.

ABSTRACT

People are always in search of matters for which they are prone to use internet, but again it has huge assemblage of data due to which it becomes difficult for the reader to get the most accurate data. To make it easier for people to gather accurate data, similar information has to be clustered at one place. There are many algorithms used for clustering of relevant information in one platform. In this paper, K-Medoids clustering algorithm has been employed for formation of clusters which is further used for document summarization.

연구 동기 및 목표

• 광범위하고 비정형적인 웹 데이터에서 정확한 정보를 검색하는 데 도전하는 데 목적을 두며.
• 의미적으로 유사한 문서들을 함께 군집화하여 문서 정리 방식을 향상시키는 데 목적을 두며.
• K-메도이드가 문서 군집화에 있어 K-Means에 대한 강건한 대안이 될 수 있는지 평가하는 데 목적을 두며.
• 노이즈에 강건한 군집화를 통해 문서 요약을 지원하는 데 목적을 두며.
• 실제 정보 검색 작업에서 메도이드 기반 군집화의 효과성을 입증하는 데 목적을 두며.

제안 방법

• TF-IDF 표현에서 유도된 문서 벡터에 K-메도이드 알고리즘을 적용한다.
• 군집 중심으로 실제 문서(메도이드)를 선택함으로써 이해 가능성과 강건성을 향상시킨다.
• 각 문서와 할당된 메도이드 사이의 절대 거리 합을 최소화하는 방식으로 작동한다.
• 문서 간 유사도는 일반적으로 유클리드 거리 또는 맨하탄 거리와 같은 거리 측정법을 사용해 측정한다.
• 반복적으로 문서를 가장 가까운 메도이드에 할당하고, 최적의 군집화를 위해 메도이드를 갱신하기 위해 PAM(Partitioning Around Medoids) 알고리즘을 사용한다.
• 군집화 결과를 바탕으로 문서를 그룹화하여 후속 요약 및 정보 검색에 활용한다.

실험 결과

연구 질문

• RQ1 다른 군집화 방법에 비해 K-메도이드는 대규모 텍스트 문서 컬렉션 군집화에 얼마나 효과적인가?
• RQ2 노이즈가 있는 문서 데이터에서 K-메도이드는 K-Means보다 더 안정적이고 해석 가능한 군집을 생성할 수 있는가?
• RQ3 K-메도이드는 문서 검색 및 요약 정확도를 어느 정도 향상시키는가?
• RQ4 실제 데이터 포인트를 메도이드로 사용할 경우, 실생활 텍스트 응용 프로그램에서 군집 성능 향상에 어떤 영향을 미치는가?
• RQ5 K-메도이드를 사용할 때 거리 측정법이 문서 데이터 군집 품질에 어떤 영향을 미치는가?

주요 결과

• K-메도이드는 문서 데이터에서 K-Means에 비해 군집 안정성과 이방치에 대한 강건성에서 뛰어난 성능을 보였다.
• 실제 문서를 메도이드로 사용함으로써 이해 가능성 향상과 요약 작업에서 직접 활용 가능성이 증가하였다.
• 시험된 문서 컬렉션에서 높은 군집 밀도와 낮은 군집 내 분산을 달성하였다.
• 이 방법은 대규모 문서 레포지터리를 의미적으로 일관된 그룹으로 효과적으로 정리하였다.
• 결과적으로 K-메도이드는 정보 검색 시스템에서 문서 군집화에 적합하고 효과적인 접근법임을 입증하였다.
• 본 연구는 메도이드 기반 군집화가 문서 요약 파ipeliine의 품질을 향상시킨다는 점을 확인하였다.