[論文レビュー] Quickshift++: Provably Good Initializations for Sample-Based Mean Shift

Heinrich Jiang, Jennifer Jang+1 more|arXiv (Cornell University)|May 21, 2018

Advanced Clustering Algorithms Research参考文献 35被引用数 15

ひとこと要約

Quickshift++ は、過剰分割を低減するために、点モードの代わりに局所的高密度領域（クラスターコア）を用いてサンプルベースのミーンシフトを初期化する、証明可能に一貫性のあるクラスタリング手法を提案する。修正された MCores アルゴリズムを用いてこれらのクラスターコアを推定し、k-NN 密度推定を組み合わせることで、最小限のハイパーパrameterチューニングで多様なデータセットに対して優れたかつ安定したクラスタリング性能を達成する。

ABSTRACT

We provide initial seedings to the Quick Shift clustering algorithm, which approximate the locally high-density regions of the data. Such seedings act as more stable and expressive cluster-cores than the singleton modes found by Quick Shift. We establish statistical consistency guarantees for this modification. We then show strong clustering performance on real datasets as well as promising applications to image segmentation.

研究の動機と目的

• Quick Shift やミーンシフトのようなモード探索クラスタリング手法が、微小な密度の変動を別々のモードとして扱うための過剰分割を是正すること。
• クラスタを単一の点モードではなく、局所的高密度領域（クラスターコア）としてモデル化することにより、より安定的で表現力のあるクラスタ表現を構築すること。
• 提案された初期化フレームワーク下でのクラスタ回復に関する統計的一致性の保証を提供すること。
• 特に主要パラメータ β に関して、最小限のハイパーパrameterチューニングで多様な実世界データセットに対して強力な性能を示すことを実証すること。
• クラスターコア構造を活用することで、画像セグメンテーションなどの挑戦的なタスクへの有効な適用を可能にすること。

提案手法

• Jiang & Kpotufe (2017) が提唱した MCores アルゴリズムの修正版を用いてクラスターコアを推定し、密度の変動を制御するパラメータ β を用いる。
• k-NN 密度推定を用いて経験的密度を計算し、標準的な KDE にガウスカーネルを用いる代わりに安定性と効率性を向上させる。
• 各データポイントから Quick Shift の勾配上昇手順を開始するが、点モードに到達するのではなくクラスターコアに到達した時点で停止させる。これはコア内に属するかどうかに基づく停止条件を用いる。
• 各ポイントを到達するクラスターコアに割り当てる。クラスターコアを最終的なクラスタ代表として扱う。
• Quick Shift の τ パラメータの必要性を排除し、クラスターコアを自然な停止点として用いることで、アルゴリズムを簡素化する。
• 微小な正則性条件の下で、クラスターコアの吸引領域に属するポイントが正しくそのクラスターコアに割り当てられることを示す理論的一致性分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 局所的高密度領域（クラスターコア）は、サンプルベースのミーンシフトにおいて、点モードよりも安定的で表現力のあるクラスタ表現として機能するか？
• RQ2 クラスターコアで初期化された Quick Shift は、有限標本条件下で証明可能に一貫したクラスタ回復を達成するか？
• RQ3 実世界のデータセット（さまざまなクラスタの形状や複雑さを有する）において、Quickshift++ は、DBSCAN やミーンシフト、Quick Shift といった確立された密度ベースのクラスタリングアルゴリズムと比較して、どのように性能を発揮するか？
• RQ4 Quickshift++ は、特に β と k といったハイパーパrameterの選択に対して、多様なデータセットや応用においてどの程度頑健か？
• RQ5 クラスターコアは、標準的なモード探索手法が保持できない複雑な非球形クラスタ構造を捉えることで、有効な画像セグメンテーションを可能にするか？

主な発見

• Quickshift++ は、DBSCAN やミーンシフト、Quick Shift を含む、人気のある密度ベースのクラスタリングアルゴリズムを顕著に上回り、ほとんどの場合で最高の調整ランダムインデックス（adjusted Rand Index）と調整相互情報量（adjusted mutual information）スコアを達成する。
• MNIST データセット（n=1000）では、調整ランダムインデックスが 0.4806、調整相互情報量が 0.4806 となり、k-means や DBSCAN を含むすべてのベースラインを上回った。
• letters データセット（n=20,000）では、調整ランダムインデックスが 0.5001、調整相互情報量が 0.5001 となり、最適チューニング済みの Quick Shift や DBSCAN をも上回った。
• k に対して非常に頑健であり、n に対して相対的な広い範囲の k 値で一貫した性能を示した。一方、β については、ほとんどのデータセットで β=0.3 を使用したが、banknote データセットでは β=0.7 が最適であった。
• 画像セグメンテーションの結果から、クラスターコアが画像内の複雑で任意の形状の構造を効果的に捉えていることが示され、実世界のビジョン応用における有用性が裏付けられた。
• 統計的一致性の保証が確立され、基礎となる密度関数にややきめ細かい正則性条件が課せられる条件下で、クラスターコアの吸引領域に属するポイントが正しくそのクラスターコアに割り当てられることを証明した。