[論文レビュー] Unexpected Effects of Online no-Substitution k-means Clustering

Michal Moshkovitz|arXiv (Cornell University)|Aug 9, 2019

Advanced Clustering Algorithms Research参考文献 19被引用数 5

ひとこと要約

この論文は、決定を逐次的に行い、選択された点を後から変更できないオンラインのno-substitution k-meansクラスタリングを調査する。定数kとランダムな点の順序の場合、定数近似を達成するためにΘ(log n)の中心で十分であることが、タイトな漸近的上限と下限を示して確立されている。一方、nを事前に知っている場合には、この数は定数にまで低下する。これは、順序付けとnの事前知識が性能に顕著かつ予期せぬ影響を与えることを示している。

ABSTRACT

Offline k-means clustering was studied extensively, and algorithms with a constant approximation are available. However, online clustering is still uncharted. New factors come into play: the ordering of the dataset and whether the number of points, n, is known in advance or not. Their exact effects are unknown. In this paper we focus on the online setting where the decisions are irreversible: after a point arrives, the algorithm needs to decide whether to take the point as a center or not, and this decision is final. How many centers are needed and sufficient to achieve constant approximation in this setting? We show upper and lower bounds for all the different cases. These bounds are exactly the same up to a constant, thus achieving optimal bounds. For example, for k-means cost with constant k>1 and random order, Theta(log n) centers are enough to achieve a constant approximation, while the mere a priori knowledge of n reduces the number of centers to a constant. These bounds hold for any distance function that obeys a triangle-type inequality.

研究の動機と目的

• オンラインno-substitution k-meansクラスタリングにおける点の順序とデータセットサイズnの事前知識が与える影響を理解すること。
• オンライン設定において定数近似を達成するために必要な最小の中心数を特定すること。
• さまざまな条件下（ランダム順序対最悪順序、nが既知か否か）での中心数に必要なタイトな上界と下界を確立すること。
• 次元性は無関係であるが、順序とnの知識が性能に顕著に影響することを示すこと。
• オンラインクラスタリングの全体像を包括的に分析し、アルゴリズムの効率に影響を与える主な要因を同定すること。

提案手法

• 点が拒否された後は後から再選択できないという不可逆的決定のもとでのオンラインk-meansクラスタリングを分析する。
• ℓ₂距離に限らない一般化のため、三角不等式型の不等式を用いることで、広範な適用可能性を確保する。
• マルコフの不等式や和集合の上限を含む確率的および集中度の議論を用いて、高確率での保証を導出する。
• 選択された2つの中心間の距離が、選択時における点からその最近傍中心までの距離以上であることを示す、重要な構造的補題を適用する。
• 既知のコスト関数への還元を通じて上界と下界を導出し、幾何的不等式を用いてクラスタリングコストをバインドする。
• ランダムおよび最悪ケースの点の順序を検討し、nが事前に分かっているか否かの状況を明確に区別する。

実験結果

リサーチクエスチョン

• RQ1 入力点の順序（ランダム対最悪ケース）が、オンラインno-substitution k-meansにおける定数近似を達成するために必要な中心数にどのように影響するか？
• RQ2 データセットサイズnの事前知識が、定数近似を達成するために必要な中心数に与える影響は何か？
• RQ3 順序とnの知識の異なる組み合わせに対して、必要な中心数のタイトな漸近的境界を確立できるか？
• RQ4 データ空間の次元性は、オンライン設定における必要な中心数に影響を与えるか？
• RQ5 コスト関数がℓ₂ノルムではなく三角不等式型の不等式を満たす場合、境界はどのように変化するか？

主な発見

• 定数k > 1で点の順序がランダムな場合、オンラインno-substitution k-meansで定数近似を達成するために、Θ(log n)の中心が必要かつ十分である。
• 全点数nが事前に分かっている場合、k > 1であっても必要な中心数は定数にまで低下する。
• 最悪ケースの順序では、nを事前に知っている場合でも、依然としてΘ(log n)の中心が必要である。これは、敵対的順序が性能を著しく制限することを示している。
• データ空間の次元dは、必要な中心数に漸近的に影響を与えない。これは、次元にかかわらず普遍性があることを示している。
• 境界は定数因子の範囲でタイトであるため、与えられた制約下でアルゴリズムのトレードオフが最適であることが示された。
• 結果はℓ₂ノルムに限らず、三角不等式型の不等式を満たす任意の距離関数に対して成り立つ。これは、標準k-meansを超えた広範な適用可能性を示している。