[論文レビュー] Notes on using Determinantal Point Processes for Clustering with Applications to Text Clustering

Apoorv Agarwal, Anna Choromanska+1 more|arXiv (Cornell University)|Oct 26, 2014

Data Management and Algorithms参考文献 23被引用数 4

ひとこと要約

本稿では、相関点プロセス（DPP）を用いて多様で互いに離れた重心を選択するk-meansクラスタリング初期化手法kmeansD++を提案する。kmeans++と同等の性能を達成するとともに、自動的に最適なクラスタ数kを推定でき、ランダム初期化を上回り、特徴表現が明示的に与えられない状況でも利用可能である。

ABSTRACT

In this paper, we compare three initialization schemes for the KMEANS clustering algorithm: 1) random initialization (KMEANSRAND), 2) KMEANS++, and 3) KMEANSD++. Both KMEANSRAND and KMEANS++ have a major that the value of k needs to be set by the user of the algorithms. (Kang 2013) recently proposed a novel use of determinantal point processes for sampling the initial centroids for the KMEANS algorithm (we call it KMEANSD++). They, however, do not provide any evaluation establishing that KMEANSD++ is better than other algorithms. In this paper, we show that the performance of KMEANSD++ is comparable to KMEANS++ (both of which are better than KMEANSRAND) with KMEANSD++ having an additional that it can automatically approximate the value of k.

研究の動機と目的

• DPPに基づく初期化（kmeansD++）が、従来のk-means初期化手法に比べてクラスタリング品質に優れているかどうかを評価すること。
• kmeansD++が、kmeans++の主な限界であるユーザーによるkの入力が不要な状況で、クラスタ数kを自動で推定できるかどうかを調査すること。
• 合成データおよびテキストクラスタリングデータセットにおいて、kmeansD++をkmeansRandおよびkmeans++と比較すること。
• 特徴表現が存在しない、またはkが不明な状況において、kmeansD++の頑健性とスケーラビリティを評価すること。

提案手法

• kmeansD++は、ペアワイズ距離に基づくカーネル行列を用いて、多様で互いに離れた初期重心を決定する相関点プロセス（DPP）を用いる。
• DPPのサンプリングプロセスにより、選択された重心が特徴空間で互いに離れていることが保証され、クラスタの分離が促進される。
• DPPカーネル行列を定義するために、パラメータσを用いたガウスカーネルが使用され、値が大きいほど類似度が高くなる。
• 各点が重心として選ばれるマージナル確率が計算され、すでに選択された点から遠く離れた点が優遇される。
• kmeansD++は、新たな点が選ばれる確率がしきい値を下回った時点でDPPサンプリングを停止することで、kを自動で推定する。
• F1スコアを用いて、テキストクラスタリングタスクおよび合成データに対してkmeansRandおよびkmeans++と比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 kmeansD++は、テキストおよび合成データセットにおいて、kmeans++と同等のクラスタリング性能を達成するか？
• RQ2 kmeansD++は、ユーザーによる入力が不要な状況で、クラスタ数kを自動で推定できるか？
• RQ3 kmeansD++は、ランダム初期化（kmeansRand）と比較して、クラスタリング品質および安定性に優れているか？
• RQ4 DPPによるサンプリングが、kmeans++の距離に基づくサンプリングと比較して、k-meansの収束に有益な多様性をもたらすか？
• RQ5 kmeansD++は、明示的な特徴表現が得られない状況においても、効果的に適用可能か？

主な発見

• kmeansD++は、Star Wars、Crusade、Raiders、Pirates、Bourne、Batmanを含むすべてのテスト済みテキストクラスタリングデータセットで、kmeans++と同等のF1スコアを達成した。
• Crusadeデータセットでは、kmeansD++がF1スコア0.86 ± 0.02を達成し、kmeans++（0.84 ± 0.02）およびkmeansRand（0.80 ± 0.04）を上回った。
• kmeansD++は、すべてのデータセットでkmeansRandを一貫して上回り、F1スコアにおいて統計的に有意な改善が見られた。
• この手法は、ユーザーが指定するkが不要な状況で、クラスタ数kを自動で推定できた。これは、kmeans++と比較して顕著な利点である。
• 実験的結果から、DPPに基づく初期化は、ランダム初期化に比べてより安定的で高品質なクラスタリングをもたらすことが示された。
• 理論的分析により、DPPサンプリングが多様な点を優遇することが支持され、k-meansが良好に分離されたクラスタを見つけるという目的と整合的であることが示された。