[論文レビュー] Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications

Christopher M. De Vries, Lance De Vine+2 more|QUT ePrints (Queensland University of Technology)|May 21, 2015

Data Management and Algorithms参考文献 37被引用数 9

ひとこと要約

本稿では、圧縮されたバイナリドキュメント署名と並列ストリーミング処理を用いて、1台のミドルレンジマシン上で数十億件のウェブページを数十万個の細分化されたクラスタにクラスタリングするスケーラブルなクラスタリングアルゴリズム、Parallel Streaming Signature EM-treeを提案する。この手法は、効率的な表現のためのランダムプロジェクションと階層的なEMツリー構造を活用することで、高価なハードウェアやカテゴリカルラベルを必要とせずに、クラスタ品質とスケーラビリティの両面で先行手法を上回る。

ABSTRACT

The proliferation of the web presents an unsolved problem of automatically analyzing billions of pages of natural language. We introduce a scalable algorithm that clusters hundreds of millions of web pages into hundreds of thousands of clusters. It does this on a single mid-range machine using efficient algorithms and compressed document representations. It is applied to two web-scale crawls covering tens of terabytes. ClueWeb09 and ClueWeb12 contain 500 and 733 million web pages and were clustered into 500,000 to 700,000 clusters. To the best of our knowledge, such fine grained clustering has not been previously demonstrated. Previous approaches clustered a sample that limits the maximum number of discoverable clusters. The proposed EM-tree algorithm uses the entire collection in clustering and produces several orders of magnitude more clusters than the existing algorithms. Fine grained clustering is necessary for meaningful clustering in massive collections where the number of distinct topics grows linearly with collection size. These fine-grained clusters show an improved cluster quality when assessed with two novel evaluations using ad hoc search relevance judgments and spam classifications for external validation. These evaluations solve the problem of assessing the quality of clusters where categorical labeling is unavailable and unfeasible.

研究の動機と目的

• 標準的で低価格のハードウェア上で、数百億件のページを含むウェブ規模のドキュメントコレクションを、細分化されたクラスタにクラスタリングする課題に対処すること。
• サンプリングに基づくアプローチの制限を克服し、クラスタ数が制限され、冗長性が低下することで、粗い、意味の薄いクラスタが生じるのを防ぐこと。
• カテゴリカルラベルが存在しない状況において、クラスタの妥当性を評価するフレームワークを構築すること。ここでは、アドホック検索の関連性とスパム分類を代理指標として用いる。
• 情報検索分野の応用、例えばクエリ拡張、再ランク付け、コレクション選択において、大規模かつ効率的なクラスタリングを可能にすること。

提案手法

• 高次元かつスパースなドキュメントベクトルを、ランダムプロジェクションによって表現し、コンパクトなバイナリ署名を生成することで、ストレージと計算コストを削減する。
• ストリーミング処理を可能にする並列ストリーミングEMツリーアルゴリズムを適用し、署名空間上で階層的なクラスタリング構造を段階的に構築することで、効率的かつスケーラブルな処理を実現する。
• 二段階のクラスタリング戦略を採用：まず粗いツリー構造（レベル1）を構築し、その後より深いレベル（レベル2）でクラスタを精緻化することで、細分化されたパーティショニングを達成する。
• ドキュメントをストリーミング形式で処理することで、全量をメモリ上に保持する必要がなく、ウェブ規模のコレクションにスケーリング可能である。
• 1台のマシン上の複数のCPUコアにわたる並列処理を実現するため、並列および分散プログラミング技術を活用する。
• 圧縮学習とハッシング技術を統合し、次元削減とI/Oオーバーヘッドの大幅な削減を実現しながらも、類似関係を維持する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングに依存しないで、標準的なコンsumerハードウェア上でウェブ規模のドキュメントコレクション（例：5億件以上）を細分化クラスタリングすることは可能か？
• RQ2 カテゴリカルラベルが存在しない状況で、EMツリーアルゴリズムが生成するクラスタリングの品質は、既存手法と比べてどの程度か？
• RQ3 アドホック検索の関連性とスパム分類は、教師なし設定におけるクラスタ品質の評価に、どの程度妥当な代理指標として機能するか？
• RQ4 提示されたアルゴリズムは、数十億件のドキュメントにスケーリング可能でありながら、高いクラスタ品質と低い計算コストを維持できるか？

主な発見

• EMツリーアルゴリズムは、ClueWeb09の5億件のウェブページとClueWeb12の7億3300万件のページを、1台の16コアマシン上で24時間未満で50万～70万のクラスタに成功してクラスタリングした。
• この手法は、従来の手法よりも著しく細分化されたクラスタリングを達成しており、通常1,000クラスタ程度しか得られないサンプリングベースの手法と比べて、オーダーが桁違いに多いクラスタ数を生成した。
• アドホック検索の関連性とスパム分類を用いた評価により、EMツリーのクラスタは、カテゴリカルラベルが存在しない状況でもベースライン手法を上回る品質を示した。
• この手法は、キーワードマッチを超えたトピック的関係を捉えることで、検索性能の向上に寄与することを示した。これにより、クエリ拡張や再ランク付けの向上が可能になった。
• クラスタ品質指標において、k-meansや他のベースライン手法を上回り、特にスケールが大きくなると、より一貫性がありトピック特化型のクラスタを生成した。
• ランダムプロジェクションによるバイナリ署名の使用により、計算とストレージの効率化が実現され、クラスタリングの忠実性を損なわず、標準ハードウェア上での大規模クラスタリングが可能になった。