[論文レビュー] Local algorithms for interactive clustering

Pranjal Awasthi, Maria Florina Balcan+1 more|arXiv (Cornell University)|Dec 24, 2013

Algorithms and Data Compression参考文献 26被引用数 34

ひとこと要約

本稿では、初期クラスタリングをユーザーが指定した分割およびマージリクエストのみを用いて段階的に改善する、局所的かつインタラクティブなクラスタリングアルゴリズムを提案する。各ステップで最小限の局所的変更を行う。自然な安定性仮定の下で、アルゴリズムは少ないリクエスト数で目標クラスタリングに正当に収束し、実世界のデータセットにおいても強力な実験的性能を示す。特に、ロバストな平均リンクエージェンスツリー前処理ステップを組み合わせた場合に顕著である。

ABSTRACT

We study the design of interactive clustering algorithms for data sets satisfying natural stability assumptions. Our algorithms start with any initial clustering and only make local changes in each step; both are desirable features in many applications. We show that in this constrained setting one can still design provably efficient algorithms that produce accurate clusterings. We also show that our algorithms perform well on real-world data.

研究の動機と目的

• 初期クラスタリングから出発し、ユーザーのフィードバックに応じて局所的な変更のみを加えるアルゴリズムを設計することで、クラスタリングにおける実用的制約に対処する。
• ユーザーが正確なクラスタ割り当てを指定せず、分割およびマージリクエストのみを発行するインタラクティブクラスタリングの理論的モデルを構築する。
• 自然な安定性仮定の下で、クラスタリング誤差とデータサイズの対数関数に比例する多項式時間で、目標クラスタリングに収束することを保証する。
• 実世界のデータセットを用いた実験により、実用的有効性を実証し、ノイズのあるユーザーのフィードバックに対してもロバストであることを示す。
• 不 prune されたデータセットにおける性能を向上させるために、外れ値の影響を減らすためによりロバストな平均リンクエージェンスツリーを構築する。

提案手法

• 自然な安定性仮定の下で、目標クラスタリングと整合的になるグローバルなツリー構造を構築するため、平均リンクエージェンスツリーを前処理ステップとして用いる。
• ユーザーが指定した分割またはマージリクエストに関与するクラスタ内のポイントの再割り当てに限定してアルゴリズムの更新を行うことで、局所的変更を保証する。
• 2つのモデルに対応するアルゴリズムを設計する：η-マージモデル（マージ品質に制約を設ける）と非制限マージモデル（任意のマージリクエストを許容する）。
• まず密度の高いポイント群（「blob」）を特定し、それぞれのグループ内で平均リンクエージェンスツリーを構築した後、ツリー同士を統合することで、外れ値による不整合を低減するロバストなツリー構築法を採用する。
• 階層的ツリーを用いて局所的編集をガイドし、各分割またはマージ操作が潜在的な目標クラスタリングと整合的であることを保証する。
• 標準的なクラスタリング指標を用いて性能を評価する：不足クラスタリング誤差、過剰クラスタリング誤差、および相関クラスタリング誤差。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定した分割／マージリクエストのみを用いて、局所的更新のみで目標クラスタリングに収束するインタラクティブクラスタリングアルゴリズムは可能か？
• RQ2 安定性仮定の下で、初期クラスタリング誤差（不足および過剰クラスタリング）が増加するに従い、編集リクエスト数はどのように変化するか？
• RQ3 ノイズや一貫性のない階層的構造を示す不 prune されたデータセットにおいて、ロバストな平均リンクエージェンスツリーは収束性にどの程度寄与するか？
• RQ4 提案されたアルゴリズムは、インタラクティブな精錬過程において誤差を維持または低減し、劣化を避けることができるか？
• RQ5 実世界のデータセットにおいて、初期クラスタリングがすでに正確な場合、アルゴリズムは実際のところどの程度の性能を示すか？

主な発見

• 自然な安定性仮定の下で、アルゴリズムは不足および過剰クラスタリング誤差に多項式的に依存し、データポイント数の対数関数に依存するリクエスト数で目標クラスタリングに収束する。
• プルーニング済みデータセットでは、初期誤差が中程度であっても100件未満の編集リクエストで高い正確性を達成する。
• ロバストな平均リンクエージェンスツリーを用いることで、外れ値の影響を受ける階層的構造を持つ不 prune データセットにおいて、性能が顕著に向上する。
• 初期誤差が小さい（例：5〜20の不足および過剰クラスタリング誤差）データセットでは、η-マージモデルおよび非制限マージモデルの両方で、100件未満のリクエストで収束する。
• 図2のアルゴリズムは、図1、3、7のアルゴリズムとは異なり、各ステップでクラスタリング誤差を保証しない。
• 実験結果から、非制限マージモデルにおいてη値が高いほど性能が向上し、特にプルーニング済みデータセットではηの設定に関わらず優れた結果が得られることが示された。