[논문 리뷰] Document clustering using graph based document representation with constraints

Muhammad Rafi, Farnaz Amin외 1명|arXiv (Cornell University)|2014. 12. 05.

Text and Document Classification Technologies참고 문헌 3인용 수 6

한 줄 요약

이 논문은 문서 군집화의 품질을 향상시키기 위해 개체, 코퍼스, 클러스터 수준의 제약 조건을 통합한 그래프 기반 문서 표현을 제안한다. 문서를 그래프로 모델링하고 새로운 제약 조건이 있는 계층적 응집 군집화(Constrained HAC) 알고리즘에 제약 조건을 통합함으로써, 표준 및 합성 데이터셋에서 순수도, 엔트로피, F-측정치 향상으로 입증된 바와 같이 군집화 품질이 크게 향상된다.

ABSTRACT

Document clustering is an unsupervised approach in which a large collection of documents (corpus) is subdivided into smaller, meaningful, identifiable, and verifiable sub-groups (clusters). Meaningful representation of documents and implicitly identifying the patterns, on which this separation is performed, is the challenging part of document clustering. We have proposed a document clustering technique using graph based document representation with constraints. A graph data structure can easily capture the non-linear relationships of nodes, document contains various feature terms that can be non-linearly connected hence a graph can easily represents this information. Constrains, are explicit conditions for document clustering where background knowledge is use to set the direction for Linking or Not-Linking a set of documents for a target clusters, thus guiding the clustering process. We deemed clustering is an ill-define problem, there can be many clustering results. Background knowledge can be used to drive the clustering algorithm in the right direction. We have proposed three different types of constraints, Instance level, corpus level and cluster level constraints. A new algorithm Constrained HAC is also proposed which will incorporate Instance level constraints as prior knowledge; it will guide the clustering process leading to better results. Extensive set of experiments have been performed on both synthetic and standard document clustering datasets, results are compared on standard clustering measures like: purity, entropy and F-measure. Results clearly establish that our proposed approach leads to improvement in cluster quality.

연구 동기 및 목표

• 문서 군집화의 모호한 성격을 제약 조건을 통한 배경 지식 통합으로 해결하기 위해.
• 비선형 어휘 관계를 포착하는 그래프로 문서를 모델링하여 군집화 품질을 향상시키기 위해.
• 개체 수준의 제약 조건을 사전 지식으로 사용하는 새로운 제약 조건이 있는 계층적 응집 군집화(Constrained HAC) 알고리즘을 제안하기 위해.
• 세 가지 유형의 제약 조건—개체 수준, 코퍼스 수준, 클러스터 수준—이 군집화 성능에 미치는 영향을 평가하기 위해.
• 표준 평가 지표를 사용하여 표준 및 합성 문서 군집화 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 어휘를 노드로, 공현 또는 의미 관계를 간선으로 하는 그래프로 문서를 표현함으로써 비선형적 구조 모델링을 가능하게 한다.
• 세 가지 유형의 제약 조건을 도입한다: 개체 수준(필수 연결/비연결 쌍), 코퍼스 수준(전반적인 군집화 선호도), 클러스터 수준(목표 클러스터 크기 또는 구조).
• 개체 수준 제약 조건을 계층 군집화 과정에 통합하여 병합 결정을 이끌어내는 새로운 Constrained HAC 알고리즘을 설계한다.
• 기존의 벡터 공간 모델이 놓칠 수 있는 복잡한 어휘 상호작용을 그래프 기반 표현을 통해 유지한다.
• 기본 방법과의 성능 비교를 위해 표준 군집화 평가 지표인 순수도, 엔트로피, F-측정치를 적용한다.
• 합성 및 실제 문서 데이터셋에서 광범위한 실험을 수행하여 접근 방식의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 벡터 공간 모델에 비해 그래프 기반 문서 표현이 비선형 어휘 관계를 더 효과적으로 포착할 수 있는가?
• RQ2 개체 수준 제약 조건이 이질적인 군집화 설정에서 군집화 품질을 어떻게 향상시키는가?
• RQ3 코퍼스 수준 및 클러스터 수준 제약 조건이 결과 클러스터의 일관성과 정확도에 어느 정도 기여하는가?
• RQ4 제안된 Constrained HAC 알고리즘이 표준 문서 군집화 벤치마크에서 표준 계층 군집화보다 뛰어난 성능을 보이는가?
• RQ5 다양한 유형의 제약 조건이 순수도, 엔트로피, F-측정치에 미치는 영향을 비교해보면 어떠한가?

주요 결과

• 제안된 그래프 기반 표현은 기존의 벡터 공간 모델보다 복잡한 비선형 어휘 관계를 더 효과적으로 모델링함으로써 군집화 품질을 크게 향상시킨다.
• Constrained HAC 알고리즘을 통한 개체 수준 제약 조건 통합은 다양한 데이터셋에서 순수도, 엔트로피, F-측정치 향상으로 명백한 개선 효과를 보였다.
• 코퍼스 수준 및 클러스터 수준 제약 조건의 통합은 클러스터의 구조를 더욱 정교하게 다듬고 결과의 해석 가능성까지 향상시켰다.
• 합성 및 표준 데이터셋에서의 실험을 통해 기존의 기초 군집화 방법에 비해 일관된 성능 향상이 확인되었다.
• 모든 표준 평가 지표에서 뚜렷한 개선 효과를 보이며, 이는 접근 방식의 강건성과 확장성 또한 입증하였다.
• 결과는 비지도 학습 문서 군집화에서 내재된 모호성을 완화하는 데 제약 조건 기반 지침이 효과적이라는 점을 입증한다.