[논문 리뷰] Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications

Christopher M. De Vries, Lance De Vine외 2명|QUT ePrints (Queensland University of Technology)|2015. 05. 21.

Data Management and Algorithms참고 문헌 37인용 수 9

한 줄 요약

이 논문은 압축된 이진 문서 서명과 병렬 스트리밍 처리를 사용하여 단일 중급 수준의 머신에서 수십억 개의 웹 페이지를 수십만 개의 세밀한 클러스터로 클러스터링할 수 있는 확장 가능한 클러스터링 알고리즘인 Parallel Streaming Signature EM-tree를 제안한다. 이는 효율적인 표현을 위해 무작위 투영을 활용하고 계층적 EM-tree 구조를 사용함으로써, 고성능 하드웨어나 범주 레이블이 없이도 기존 방법보다 뛰어난 클러스터 품질과 확장성을 달성한다.

ABSTRACT

The proliferation of the web presents an unsolved problem of automatically analyzing billions of pages of natural language. We introduce a scalable algorithm that clusters hundreds of millions of web pages into hundreds of thousands of clusters. It does this on a single mid-range machine using efficient algorithms and compressed document representations. It is applied to two web-scale crawls covering tens of terabytes. ClueWeb09 and ClueWeb12 contain 500 and 733 million web pages and were clustered into 500,000 to 700,000 clusters. To the best of our knowledge, such fine grained clustering has not been previously demonstrated. Previous approaches clustered a sample that limits the maximum number of discoverable clusters. The proposed EM-tree algorithm uses the entire collection in clustering and produces several orders of magnitude more clusters than the existing algorithms. Fine grained clustering is necessary for meaningful clustering in massive collections where the number of distinct topics grows linearly with collection size. These fine-grained clusters show an improved cluster quality when assessed with two novel evaluations using ad hoc search relevance judgments and spam classifications for external validation. These evaluations solve the problem of assessing the quality of clusters where categorical labeling is unavailable and unfeasible.

연구 동기 및 목표

• 표준 저비용 하드웨어에서 수백만 개의 웹 페이지로 구성된 웹 규모 문서 컬렉션을 세밀한 클러스터로 클러스터링하는 과제를 해결한다.
• 샘플링 기반 접근 방식의 한계를 극복하여 클러스터 수 제한과 재현성 감소로 인해 생기는 굵은, 덜 의미 있는 클러스터를 방지한다.
• 범주 레이블이 없는 상황에서 클러스터 유효성 평가 프레임워크를 개발하며, 임시 검색 관련성과 스팸 분류를 대체 지표로 사용한다.
• 정보 검색 분야의 응용 분야인 쿼리 확장, 재정렬, 컬렉션 선택을 위한 대규모 효율적 클러스터링을 가능하게 한다.

제안 방법

• 고차원이고 희소한 문서 벡터를 무작위 투영을 통해 압축된 이진 서명으로 표현함으로써 저장 비용과 계산 비용을 감소시킨다.
• 스트리밍 방식으로 서명 공간 위에 계층적 클러스터링 구조를 점진적으로 구축하는 병렬 스트리밍 EM-tree 알고리즘을 적용한다.
• 이중 수준 클러스터링 전략을 사용한다: 먼저 거친 트리 구조(레벨 1)를 구축하고, 이후 더 깊은 수준에서 클러스터를 정밀 조정(레벨 2)하여 세밀한 분할을 달성한다.
• 문서를 스트리밍 방식으로 처리함으로써 전체 메모리 저장이 필요 없이 웹 규모 컬렉션에 확장 가능하게 한다.
• 단일 머신의 여러 CPU 코어를 활용하여 병렬 처리 기법을 적용해 클러스터링 과정을 병렬화한다.
• 압축 학습과 해싱 기법을 통합하여 차원 감소와 I/O 오버헤드를 극도로 줄이면서도 유사성 관계를 유지한다.

실험 결과

연구 질문

• RQ1 샘플링에 의존하지 않고 표준 커머셜 하드웨어에서 웹 규모 문서 컬렉션(예: 5억 개 이상의 페이지)의 세밀한 클러스터링을 달성할 수 있는가?
• RQ2 범주 레이블이 없는 상황에서 EM-tree 알고리즘이 생성한 클러스터 품질이 기존 방법과 비교해 어떻게 되는가?
• RQ3 임시 검색 관련성과 스팸 분류가 비지도 학습 환경에서 클러스터 품질 평가의 타당한 대체 지표로 얼마나 잘 기능하는가?
• RQ4 제안된 알고리즘이 수십억 개의 문서에 대해 높은 클러스터 품질과 낮은 계산 비용을 유지하면서도 확장 가능한가?

주요 결과

• EM-tree 알고리즘은 ClueWeb09의 5억 개, ClueWeb12의 7억 3,300만 개 웹 페이지를 단일 16코어 머신에서 24시간 이내에 50만에서 70만 개의 클러스터로 성공적으로 클러스터링했다.
• 이전 방법보다 훨씬 더 세밀한 클러스터링을 달성했으며, 일반적으로 1,000개 정도의 클러스터만 생성하는 샘플링 기반 방법과 비교해 수십만 배 이상 더 많은 클러스터를 생성했다.
• 임시 검색 관련성과 스팸 분류를 사용한 평가 결과, 베이스라인 방법보다 EM-tree 클러스터의 품질이 뛰어나, 범주 레이블이 없더라도 성능이 뛰어났다.
• 세밀한 클러스터링이 키워드 매칭을 넘어서 주제적 관계를 포착함으로써 검색 성능 향상에 기여함을 입증했으며, 이는 더 나은 쿼리 확장과 재정렬을 가능하게 했다.
• 클러스터 품질 지표에서 k-means 및 기타 베이스라인보다 EM-tree가 뛰어난 성능을 보였으며, 특히 대규모 환경에서 더 일관되고 주제에 특화된 클러스터를 생성했다.
• 무작위 투영을 통한 이진 서명 사용으로 효율적인 계산과 저장이 가능해져, 표준 하드웨어에서 클러스터링 정밀도를 손상시키지 않고 대규모 클러스터링을 실현할 수 있었다.