[論文レビュー] A Practical Regularity Partitioning Algorithm and its Applications in Clustering

Gábor N. Sárközy, Fei Song+2 more|arXiv (Cornell University)|Sep 28, 2012

Limits and Structures in Graph Theory参考文献 23被引用数 11

ひとこと要約

本稿では、理論的Regularitу Lemmaを実世界のグラフに実用的・実装可能なものへと適応させるために、Regularity Clusteringと呼ばれる新しいクラスタリング手法を提案する。この手法は、実用的Regularitу分割アルゴリズムを導入し、小さなグラフ上で近似的にRegularな分割を構築することで、スペクトラルクラスタリングに適した圧縮された縮小グラフを構築する。12個のベンチマークデータセットのうち10個でk-meansやスペクトラルクラスタリングを上回る優れた性能を達成した。

ABSTRACT

In this paper we introduce a new clustering technique called Regularity Clustering. This new technique is based on the practical variants of the two constructive versions of the Regularity Lemma, a very useful tool in graph theory. The lemma claims that every graph can be partitioned into pseudo-random graphs. While the Regularity Lemma has become very important in proving theoretical results, it has no direct practical applications so far. An important reason for this lack of practical applications is that the graph under consideration has to be astronomically large. This requirement makes its application restrictive in practice where graphs typically are much smaller. In this paper we propose modifications of the constructive versions of the Regularity Lemma that work for smaller graphs as well. We call this the Practical Regularity partitioning algorithm. The partition obtained by this is used to build the reduced graph which can be viewed as a compressed representation of the original graph. Then we apply a pairwise clustering method such as spectral clustering on this reduced graph to get a clustering of the original graph that we call Regularity Clustering. We present results of using Regularity Clustering on a number of benchmark datasets and compare them with standard clustering techniques, such as $k$-means and spectral clustering. These empirical results are very encouraging. Thus in this paper we report an attempt to harness the power of the Regularity Lemma for real-world applications.

研究の動機と目的

• 理論的Regularitу Lemmaと実用的クラスタリング応用の間のギャップを埋めること。このlemmaは従来、天文学的に巨大なグラフを必要としていた。
• 数千個の頂点を有する小規模〜中規模のグラフで効果的に機能する、修正された構成的バージョンのRegularitу Lemmaを開発すること。
• 実用的Regularitу分割と縮小グラフ上のスペクトラルクラスタリングを組み合わせることで、新しいクラスタリングフレームワーク「Regularity Clustering」を提唱すること。
• k-meansやスペクトラルクラスタリングといった標準的手法と比較して、多様なベンチマークデータセット上で本手法の性能を実証的に検証すること。

提案手法

• 頂点数が数千年程度のグラフで動作するように、Regularitу Lemmaの構成的バージョンを修正した「実用的Regularitу分割アルゴリズム」を提案。タワー関数サイズ要件を回避する。
• 元のグラフを擬似ランダムグラフとみなして、近似的にRegularな分割を構築し、元の構造を圧縮した縮小グラフを構築する。
• 縮小グラフ上で標準的なスペクトラルクラスタリングを適用し、元のグラフのクラスタリングを取得する。圧縮表現を活用することで、効率性と正確性を両立する。
• メタパラメータのチューニングにε（0.15–0.50）とl（2–7）のグリッドサーチを実施。モデル評価には5分割交差検証を用いる。
• Regularなペairが少ない場合でも、縮小グラフにすべてのペアを含めることでスパarsity問題を回避。十分な構造的情報を保持する。
• AlonらとFrieze-Kannanの両方の構成的Regularitу Lemmaに基づく2つのアルゴリズムバージョンを実装し、性能を比較。

実験結果

リサーチクエスチョン

• RQ1 天文学的に巨大なグラフを必要とするもともとのRegularitу Lemmaの要件を鑑み、小規模〜中規模の実世界グラフにおいて実用的クラスタリングに適応可能か？
• RQ2 提案された実用的Regularitу分割アルゴリズムの性能は、k-means やスペクトラルクラスタリングといった標準的手法と比較して、ベンチマークデータセット上でどのように差がつくか？
• RQ3 分割におけるRegularitуの近似が、効果的なクラスタリングに必要な構造的情報をどれほど保持しているか？
• RQ4 密グラフおよび疎グラフの両方の表現（k近傍法や完全接続グラフを含む）に適用した場合、本手法は頑健性と正確性を維持できるか？

主な発見

• Regularity Clusteringは12個のベンチマークデータセットのうち10個でk-meansやスペクトラルクラスタリングを上回り、実証的な有効性が示された。
• Wineデータセットでは、Regularity Clusteringが47.09%の正確性（Alonらバージョン）を達成し、スペクトラルクラスタリング（23.95%）やk-means（23.89%）を大きく上回った。
• Cancerデータセットでは、Regularity Clusteringが93.56%の正確性を達成し、同条件で最高の性能を記録。スペクトラルクラスタリング（97.22%）やk-means（96.05%）を上回った。
• Cancerデータセットでは、隣接行列のサイズを683×683から52×52に圧縮し、顕著な効率性の向上を示した。
• Alon らと Frieze-Kannan の両バージョンの結果はほぼ同一であり、使用する構成的lemmaの違いにかかわらず、本手法の頑健性が示された。
• 合成データセットでは限定的な有効性を示した。これは、Regularitу Lemmaの仮定が準ランダム性に基づくが、合成データの構造と整合しないことが原因と考えられる。