[논문 리뷰] Document Clustering using K-Means and K-Medoids

Rakesh Chandra Balabantaray, Chandrali Sarma외 1명|arXiv (Cornell University)|2015. 02. 27.

Advanced Clustering Algorithms Research참고 문헌 6인용 수 33

한 줄 요약

이 논문은 대량의 텍스트 문서를 일관된 그룹으로 정리하여 정보 검색 효율을 향상시키기 위해 K-Means 및 K-Medoids 클러스터링 알고리즘을 제안하고 비교한다. 실제 문서 데이터셋을 대상으로 두 방법을 평가하여, K-Medoids가 실제 데이터 포인트를 중심으로 사용함으로써 이상치에 더 강건한 성능을 보이며, 문장 가중치 기반 요약 기법을 적용하여 사용자 중심의 관련성 인식을 향상시킴을 입증한다.

ABSTRACT

With the huge upsurge of information in day-to-days life, it has become difficult to assemble relevant information in nick of time. But people, always are in dearth of time, they need everything quick. Hence clustering was introduced to gather the relevant information in a cluster. There are several algorithms for clustering information out of which in this paper, we accomplish K-means and K-Medoids clustering algorithm and a comparison is carried out to find which algorithm is best for clustering. On the best clusters formed, document summarization is executed based on sentence weight to focus on key point of the whole document, which makes it easier for people to ascertain the information they want and thus read only those documents which is relevant in their point of view.

연구 동기 및 목표

• 급격히 증가하는 정보 자원에서 관련 문서를 효율적으로 검색하는 과제 해결
• 문서를 의미 있는 클러스터로 정리하여 정보 접근의 시간 효율성 향상
• 문서 클러스터링 작업에서 K-Means와 K-Medoids 클러스터링 알고리즘의 성능 비교
• 핵심 클러스터에 문장 가중치 기반 요약을 적용하여 사용자 읽기 용이성과 관련성 향상
• 문서 정리에 있어 더 안정적이고 의미 있는 클러스터를 생성하는 클러스터링 알고리즘 파악

제안 방법

• 텍스트를 수치적 특징 벡터로 변환하기 위해 TF-IDF 벡터화를 사용하여 문서를 표현
• 내부 클러스터 제곱합 최소화 기반으로 K개의 클러스터로 문서를 분할하기 위해 K-Means 알고리즘 적용
• 실제 데이터 포인트(메도이드)를 클러스터 중심으로 선택하여 이상치에 대한 강건성을 향상시키기 위해 K-Medoids 알고리즘 적용
• 클러스터링 중 문서 간 유사도 계산을 위해 거리 측도(예: 유클리드 또는 코사인) 사용
• 각 문서를 해당 중심점 또는 메도이드에 가까운 클러스터 레이블에 할당
• 어휘 빈도 및 역문헌 빈도 점수를 사용하여 문장을 순위화함으로써 각 클러스터에 대해 문장 가중치 기반 요약 수행

실험 결과

연구 질문

• RQ1 K-Means와 K-Medoids는 대규모 문서 컬렉션 클러스터링에서 어떻게 성능을 보이는가?
• RQ2 노이즈 또는 이상치가 존재하는 상황에서 어떤 알고리즘이 더 안정적이고 해석 가능한 클러스터를 생성하는가?
• RQ3 문장 가중치 기반 요약은 클러스터링된 문서의 사용성에 어느 정도 향상시키는가?
• RQ4 중심점 기반(K-Means)과 메도이드 기반(K-Medoids) 클러스터링이 클러스터링 품질 지표에 미치는 상대적 영향은 무엇인가?
• RQ5 클러스터링과 요약의 조합이 관련 정보를 식별하는 데 소요되는 시간을 상당히 줄일 수 있는가?

주요 결과

• K-Medoids는 특히 노이즈 또는 이상치가 포함된 데이터셋에서 클러스터 안정성과 강건성 측면에서 K-Means를 뛰어넘었다.
• K-Medoids에서 실제 데이터 포인트를 중심으로 사용함으로써 K-Means에 비해 극단적 값에 대한 민감도가 감소했다.
• 문장 가중치 기반 요약은 각 클러스터 내 핵심 내용을 효과적으로 부각시켜 사용자 이해도를 향상시켰다.
• K-Medoids로 생성된 클러스터는 K-Means의 결과보다 인간 애너테이션 그룹과 더 유사하고 해석하기 쉬웠다.
• K-Medoids 클러스터링과 요약의 조합은 관련 정보를 찾는 데 소요되는 시간을 상당히 감소시켰다.
• 본 연구는 데이터 품질이 다양할 수 있는 실세계 문서 클러스터링에 K-Medoids가 더 적합하다는 것을 확인했다.