[論文レビュー] Semi-Supervised Algorithms for Approximately Optimal and Accurate Clustering

Buddhima Gamlath, Sangxia Huang+1 more|arXiv (Cornell University)|Mar 2, 2018

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、最小限の同一クラスターオラクルクエリを用いて、$(1+\epsilon)$-近似コストと$(1-\epsilon)$-精度を達成する半教師付き$k$-meansクラスタリングのアルゴリズムを提示する。クエリ複雑度のタイトな境界を確立し、ユークリッド空間では次元に線形に依存し、有限距離空間では候補クラスタ中心の数に対数的に依存することを示す。次元に依存しないクエリを用いることで効率が向上するが、$k$-依存性が高くなる。

ABSTRACT

We study $k$-means clustering in a semi-supervised setting. Given an oracle that returns whether two given points belong to the same cluster in a fixed optimal clustering, we investigate the following question: how many oracle queries are sufficient to efficiently recover a clustering that, with probability at least $(1 - \\delta)$, simultaneously has a cost of at most $(1 + \\epsilon)$ times the optimal cost and an accuracy of at least $(1 - \\epsilon)$? We show how to achieve such a clustering on $n$ points with $O{((k^2 \\log n) \\cdot m{(Q, \\epsilon^4, \\delta / (k\\log n))})}$ oracle queries, when the $k$ clusters can be learned with an $\\epsilon'$ error and a failure probability $\\delta'$ using $m(Q, \\epsilon',\\delta')$ labeled samples in the supervised setting, where $Q$ is the set of candidate cluster centers. We show that $m(Q, \\epsilon', \\delta')$ is small both for $k$-means instances in Euclidean space and for those in finite metric spaces. We further show that, for the Euclidean $k$-means instances, we can avoid the dependency on $n$ in the query complexity at the expense of an increased dependency on $k$: specifically, we give a slightly more involved algorithm that uses $O(k^4/(\\epsilon^2 \\delta) + (k^{9}/\\epsilon^4) \\log(1/\\delta) + k \\cdot m(\\mathbb{R}^r, \\epsilon^4/k, \\delta))$ oracle queries. We also show that the number of queries needed for $(1 - \\epsilon)$-accuracy in Euclidean $k$-means must linearly depend on the dimension of the underlying Euclidean space, and for finite metric space $k$-means, we show that it must at least be logarithmic in the number of candidate centers. This shows that our query complexities capture the right dependencies on the respective parameters.

研究の動機と目的

• 教師なし$k$-meansクラスタリングの限界に対処する。最適解は一意でない場合があり、その特定はNP困難である。
• 少量の同一クラスターオラクルクエリを用いて、近似的に最適かつ高精度なクラスタリングを回復できる効率的な半教師付きアルゴリズムを設計する。
• ユークリッド空間および有限距離空間の$k$-means設定において、$(1+\epsilon)$-近似コストと$(1-\epsilon)$-精度を達成するための、オラクルクエリ数の理論的下界と上界を確立する。
• クエリ複雑度が$n$の対数的要因および$\epsilon$と$k$の多項式的要因まで最適であることを示すために、一致する下界を証明する。

提案手法

• アルゴリズムは、$m(Q, \epsilon', \delta')$ 個のラベル付きサンプルを用いて、$\epsilon'$ の誤差と$\delta'$ の失敗確率でクラスタ中心を推定する教師あり学習フレームワークを利用する。
• 半教師付きクラスタリング問題を同一クラスターオラクルへのクエリに還元し、クエリ数は$O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ で抑えられる。
• ユークリッド$k$-meansでは、より洗練された手続きを用いることで、クエリ複雑度の$n$-依存性を回避し、$O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$ のクエリ数を達成する。
• ボロノイ分割の構造的性質と対称点集合における距離の対称性を活用して、クエリ複雑度の下界を導出する。
• $\pm e_i$ 点を含む$\mathbb{R}^r$ 上の困難なインスタンスを構築し、定数精度を達成するためにはクエリ複雑度が次元$r$ に線形に増加しなければならないことを証明する。
• さらに、$\log n$ 個の点からなる有限距離空間インスタンスを構築し、クエリ複雑度が少なくとも$\Omega(\log |Q|)$ であることを示し、境界のタイトさを証明する。

実験結果

リサーチクエスチョン

• RQ1 $(1+\epsilon)$-近似コストと$(1-\epsilon)$-精度を達成するために$k$-meansクラスタリングに必要な同一クラスターオラクルクエリの最小数は何か？
• RQ2 精度や近似保証を損なわずに、ユークリッド$k$-meansにおける$n$-依存性をなくすことは可能か？
• RQ3 ユークリッド$k$-meansにおいて、定数精度を達成するには次元$r$ に依存することは避けられないか？ もしそうなら、その依存性はどれほど強いのか？
• RQ4 有限距離空間$k$-meansにおいて、候補クラスタ中心数$|Q|$ に対してクエリ複雑度はどのようにスケーリングするか？
• RQ5 提案されたクエリ複雑度の上界はタイトであり、情報理論的下界によって一致可能か？

主な発見

• 本稿では、$(1+\epsilon)$-近似コストと$(1-\epsilon)$-精度を達成するためのオラクルクエリ数に上界$O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ を確立する。
• ユークリッド$k$-meansでは、洗練されたアルゴリズムにより$n$-依存性のないクエリ複雑度を達成するが、$k$-依存性が高くなる：$O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$。
• 本稿では、定数精度を達成するためにはユークリッド$k$-meansにおけるクエリ複雑度が次元$r$ に線形に増加しなければならないことを示す下界を証明する。
• さらに、有限距離空間$k$-meansではクエリ複雑度が少なくとも$\Omega(\log |Q|)$ であることを示し、境界が定数因子までタイトであることを証明する。
• 結果として、提案されたアルゴリズムは近似、精度、クエリ効率の最適なトレードオフを達成しており、クエリ複雑度が情報理論的限界と一致することを示す。
• 解析により、$m(Q, \epsilon', \delta')$ がユークリッド空間および有限距離空間$k$-meansの両方で小さいことが確認され、本手法の実用的妥当性が裏付けられる。