[論文レビュー] Quartile Clustering: A quartile based technique for Generating Meaningful Clusters

Saptarsi Goswami, Amlan Chakrabarti|arXiv (Cornell University)|Mar 19, 2012

Advanced Clustering Algorithms Research参考文献 14被引用数 10

ひとこと要約

本稿では、距離や密度ではなく四分位数の境界に基づいてデータを分割することで意味的に意味のあるクラスタを生成する、新しい技術「四分位数クラスタリング」を提案する。四分位数によって定義されるクラスタは、ビジネスアナリストにとってより解釈可能であると示され、DBインデックスで測定されるクラスタの妥当性においても、K-meansを上回る意味的明確さを示し、EM、PAM、K-meansと同等のクラスタリング品質を達成している。

ABSTRACT

Clustering is one of the main tasks in exploratory data analysis and descriptive statistics where the main objective is partitioning observations in groups. Clustering has a broad range of application in varied domains like climate, business, information retrieval, biology, psychology, to name a few. A variety of methods and algorithms have been developed for clustering tasks in the last few decades. We observe that most of these algorithms define a cluster in terms of value of the attributes, density, distance etc. However these definitions fail to attach a clear meaning/semantics to the generated clusters. We argue that clusters having understandable and distinct semantics defined in terms of quartiles/halves are more appealing to business analysts than the clusters defined by data boundaries or prototypes. On the samepremise, we propose our new algorithm named as quartile clustering technique. Through a series of experiments we establish efficacy of this algorithm. We demonstrate that the quartile clustering technique adds clear meaning to each of the clusters compared to K-means. We use DB Index to measure goodness of the clusters and show our method is comparable to EM (Expectation Maximization), PAM (Partition around Medoid) and K Means. We have explored its capability in detecting outlier and the benefit of added semantics. We discuss some of the limitations in its present form and also provide a rough direction in addressing the issue of merging the generated clusters.

研究の動機と目的

• 距離、密度、またはプロトタイプに基づいてクラスタを定義する従来のクラスタリング手法に、意味的解釈可能性に欠けるという問題があることに対処すること。
• 四分位数に基づく境界を用いて、明確で意味のある意味論をクラスタに割り当てるクラスタリング手法を開発すること。
• クラスタ定義を馴染みのある統計的百分位数に一致させることで、ビジネスアナリストによる解釈性を向上させること。
• DBインデックスなどの標準指標を用いて、クラスタの質と外れ値検出の有効性を評価すること。
• クラスタの統合に関する制限を明らかにし、今後の技術の強化に向けた方向性を提示すること。

提案手法

• アルゴリズムは、各属性の第一四分位数、第二四分位数（メジアン）、第三四分位数に基づいてデータをクラスタに分割し、属性ごとに4つの明確なグループを形成する。
• 各観測値は、データセット内の属性の四分位数境界に対する相対的位置に基づいてクラスタに割り当てられる。
• ルールベースの割り当てシステムを用い、各データポイントは全属性における四分位数位置から導かれるクラスタインデックスにマッピングされる。
• クラスタの意味論は本質的に解釈可能である。例えば、「Q1-Q2-Q3」とラベル付けされたクラスタは、ある属性では第一四分位数未満、別の属性ではQ1からQ2の間、第三の属性ではQ3を超えるデータポイントを表す。
• K-means や EM とは異なり反復的最適化を用いないため、効率性と解釈可能性を高める。代わりに、直接的な四分位数ベースのセグメンテーションに依存する。
• クラスタの密集度と分離度を測定するため、Davies-Bouldin（DB）インデックスを用いて、K-means、EM、PAM と比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 四分位数境界に基づくクラスタリングは、従来の距離または密度に基づく手法よりも、明確で解釈可能な意味的性質を持つクラスタを生成できるか？
• RQ2 DBインデックスで測定されるクラスタ妥当性の観点から、四分位数クラスタリングの性能は、K-means、EM、PAM といった既存のアルゴリズムと比較してどうなるか？
• RQ3 四分位数クラスタリングは、データ領域の構造的定義に基づいて、外れ値を効果的に検出できるか？
• RQ4 現在の四分位数クラスタリング手法の限界、特にクラスタの統合とスケーラビリティに関する点は何か？
• RQ5 四分位数ベースのクラスタの意味的明確さは、実世界の意思決定においてビジネスアナリストの使いやすさを向上させられるか？

主な発見

• 四分位数クラスタリングは、四分位数位置に基づいて明確で解釈可能な意味論を持つクラスタを生成し、意味のないK-meansとは対照的に、解釈性が著しく向上している。
• 四分位数クラスタリングのDBインデックスは、EM、PAM、K-meansと同等であり、クラスタの密集度と分離度の両面で優れた性能を示している。
• この手法は、分布の期待される四分位数範囲外に位置するデータポイントを隔離することで、外れ値を効果的に特定している。
• 著者らは、この手法が意味的優位性に欠かず、現在のところクラスタの統合メカニズムが欠如していること、特に高次元または複雑なデータにおいては制限となると観察している。
• 反復的でないルールベースの割り当てにより、計算が効率的であるため、大規模またはリアルタイム応用に適している。
• 本研究では、四分位数ベースのクラスタリングが、クラスタリング品質と同等に解釈性が重要な分野において、従来手法の実用的代替手段であることを示している。