[論文レビュー] Nearly-Tight and Oblivious Algorithms for Explainable Clustering

Buddhima Gamlath, Xinrui Jia+2 more|arXiv (Cornell University)|Jun 30, 2021

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 7

ひとこと要約

この論文は、説明可能なクラスタリングのための単純で無関心なアルゴリズムを提示しており、$O(\log^2 k)$（$k$-メディアン）および$O(k\log^2 k)$（$k$-ミーンズ）というほぼタイトな近似保証を達成している。これは、$k$-ミーンズの新しい$\Omega(k)$下界にほぼ一致する。アルゴリズムは、データサイズ$n$に依存しない$O(dk\log^2 k)$時間で、参考クラスタ中心のみを用いて意思決定木を構築し、トレーニングデータへの過剰適合を防ぐ。

ABSTRACT

We study the problem of explainable clustering in the setting first formalized by Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020). A $k$-clustering is said to be explainable if it is given by a decision tree where each internal node splits data points with a threshold cut in a single dimension (feature), and each of the $k$ leaves corresponds to a cluster. We give an algorithm that outputs an explainable clustering that loses at most a factor of $O(\log^2 k)$ compared to an optimal (not necessarily explainable) clustering for the $k$-medians objective, and a factor of $O(k \log^2 k)$ for the $k$-means objective. This improves over the previous best upper bounds of $O(k)$ and $O(k^2)$, respectively, and nearly matches the previous $Ω(\log k)$ lower bound for $k$-medians and our new $Ω(k)$ lower bound for $k$-means. The algorithm is remarkably simple. In particular, given an initial not necessarily explainable clustering in $\mathbb{R}^d$, it is oblivious to the data points and runs in time $O(dk \log^2 k)$, independent of the number of data points $n$. Our upper and lower bounds also generalize to objectives given by higher $\ell_p$-norms.

研究の動機と目的

• 説明可能性のコストに関する既知の上界と下界の差を埋める。
• 意思決定木を用いた、単純で高速かつデータに依存しない説明可能なクラスタリングの構築のためのアルゴリズムを設計する。
• $\ell_p$-ノルム目的関数（$k$-メディアンおよび$k$-ミーンズを含む）に対してほぼタイトな近似保証を確立する。
• $k$-ミーンズの新しい$\Omega(k)$下界を証明する。これは、以前の$\Omega(\log k)$下界を改善するものである。
• アルゴリズムがデータポイントに無関心であることを保証し、過剰適合を防ぎ、未観測データへの一般化を可能にする。

提案手法

• アルゴリズムは、$\ell_p$-ノルム目的関数に適した分布を用いて、特徴次元におけるランダムなしきい値カットをサンプリングすることで、しきい値木を構築する。
• データポイントではなく、$k$個の参考クラスタ中心のみを処理するため、データセットに対して無関心であり、過剰適合に対して免疫である。
• セグメント木に基づくデータ構造により、$k$個の中心から区間を$O(dk\log^2 k)$時間で効率的にサンプリングできる。
• セグメント木は部分和クエリを定数時間でサポートするように拡張されており、サンプリングプロセスの最適化が図られている。
• すべての中心が別々のリーフに分離されるまで、繰り返ししきい値カットをサンプリングすることで、すべての$k$個の中心が異なるリーフに分離されることを保証する。
• この手法は任意の$\ell_p$-ノルム目的関数に一般化可能であり、近似要因は$O(k^{p-1}\log^2 k)$となる。

実験結果

リサーチクエスチョン

• RQ1 意思決定木を用いた説明可能な$k$-メディアンおよび$k$-ミーンズクラスタリングで達成可能な最良の近似比は何か？
• RQ2 完全なデータセットにアクセスせずに、単純で無関心なアルゴリズムがほぼタイトな境界を達成できるか？
• RQ3 $\ell_p$-ノルム目的関数における説明可能性の本質的コストは何か？また、$k$とともにどのようにスケーリングされるか？
• RQ4 $k$-ミーンズクラスタリングの$O(k)$上界はタイトか、それ以上に改善可能か？
• RQ5 $k$-ミーンズに対して$\Omega(k)$の下界を確立できるか？これは改善された上界と一致するか？

主な発見

• 提案されたアルゴリズムは、$k$-メディアン目的関数に対して$O(\log^2 k)$の近似比を達成しており、以前の$O(k)$の境界を改善している。
• $k$-ミーンズ目的関数に対しては、$O(k\log^2 k)$の近似比を達成しており、以前の$O(k^2)$の境界を改善している。
• $k$-ミーンズに対して新しい$\Omega(k)$の下界が証明され、$O(k\log^2 k)$の上界がほぼタイトであることが示された。
• アルゴリズムは$O(dk\log^2 k)$時間で実行され、データポイント数$n$に依存しないため、非常にスケーラブルである。
• アルゴリズムはデータポイントに対して無関心であるため、過剰適合を起こさず、同じ期待コスト保証を未観測データに対しても維持できる。
• 結果はすべての$\ell_p$-ノルム目的関数に一般化可能であり、近似要因は$O(k^{p-1}\log^2 k)$となる。