[論文レビュー] Near-optimal Algorithms for Explainable k-Medians and k-Means

Konstantin Makarychev, Liren Shan|arXiv (Cornell University)|Jul 2, 2021

Auction Theory and Applications被引用数 8

ひとこと要約

本稿では、しきい値決定木を用いた説明可能な $k$-メディアンおよび $k$-ミーンスクラスタリングの近似的最適なアルゴリズムを提示する。$\ell_1$-ノルム $k$-メディアンでは $\tilde{O}(\log k)$ の競合比を達成し、$k$-ミーンスでは $\tilde{O}(k)$ を達成する。これは、従来の $O(k)$ および $O(k^2)$ の境界を改善する。また、$\ell_2$-ノルム $k$-メディアンに対し、$O(\log^{3/2}k)$ の競合比を達成するアルゴリズムを導入し、近似的最適性を示す下界を提示する。

ABSTRACT

We consider the problem of explainable $k$-medians and $k$-means introduced by Dasgupta, Frost, Moshkovitz, and Rashtchian~(ICML 2020). In this problem, our goal is to find a threshold decision tree that partitions data into $k$ clusters and minimizes the $k$-medians or $k$-means objective. The obtained clustering is easy to interpret because every decision node of a threshold tree splits data based on a single feature into two groups. We propose a new algorithm for this problem which is $ ilde O(\log k)$ competitive with $k$-medians with $\ell_1$ norm and $ ilde O(k)$ competitive with $k$-means. This is an improvement over the previous guarantees of $O(k)$ and $O(k^2)$ by Dasgupta et al (2020). We also provide a new algorithm which is $O(\log^{3/2} k)$ competitive for $k$-medians with $\ell_2$ norm. Our first algorithm is near-optimal: Dasgupta et al (2020) showed a lower bound of $Ω(\log k)$ for $k$-medians; in this work, we prove a lower bound of $ ildeΩ(k)$ for $k$-means. We also provide a lower bound of $Ω(\log k)$ for $k$-medians with $\ell_2$ norm.

研究の動機と目的

• 強い近似保証を維持しつつ、解釈可能なクラスタリングアルゴリズムを効率的に開発すること。
• 従来の $O(k)$ および $O(k^2)$ の競合比（それぞれ説明可能な $k$-メディアン（$\ell_1$）および $k$-ミーンス）を改善すること。
• 説明可能性の価格について、$k$-メディアン（$\ell_2$）および $k$-ミーンスのタイトな下界を確立し、提案されたアルゴリズムの近的最適性を示すこと。
• 中心の管理を効率的に行う赤黒木を用いて、$O(kd\log^2k)$ の実行時間を持つ高速版アルゴリズムを設計すること。

提案手法

• 中心間の特徴差に基づくランダムカットを用いて再帰的にクラスタを分割する、新しいしきい値木構築アルゴリズムを提案する。
• 各リーフごとに中心集合を効率的に維持・更新するため、赤黒木を用いる。これにより、$O(d\log k)$ 時間でカットのサンプリングと分割が可能になる。
• 各リーフ $u$ に対して、分離カット集合 $R^u$ からのランダムなしきい値選択を適用し、中心を分離しつつコストを最小化する。
• 小規模なパーティションを優先する再帰的分割戦略を採用し、データ構造間の削除・挿入コストを低減する。
• 幾何的および組合的議論を用いて、損傷を受ける中心の数をバウンドし、コストの下界を導出する。
• 初期の木のレベルにおける中心の分布に基づく二通りのケース分析を用い、いかなるしきい値木に対してもコストの下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 $\ell_1$ ノルムに対して、$O(k)$ より優れた競合比を達成できる説明可能な $k$-メディアンアルゴリズムを設計できるか？
• RQ2 説明可能な $k$-ミーンスの最適な競合比は何か？ また、$O(k^2)$ よりも改善可能か？
• RQ3 $\ell_2$ ノルムに対して、近的最適な説明可能な $k$-メディアンアルゴリズムは存在するか？ また、この設定における説明可能性の価格は何か？
• RQ4 $k$-メディアン（$\ell_2$）および $k$-ミーンスの説明可能性の価格に対するタイトな下界は何か？ また、それらは上界とどのように比較されるか？

主な発見

• 提案されたアルゴリズムは、$\ell_1$ ノルム $k$-メディアンに対して $\tilde{O}(\log k)$ の競合比を達成し、従来の $O(k)$ の境界を改善する。
• $k$-ミーンスに対しては、$\tilde{O}(k)$ の競合比を達成し、従来の $O(k^2)$ の保証を改善する。
• $\ell_2$ ノルム $k$-メディアンに対しては、$O(\log^{3/2}k)$ の競合比を達成する新しいアルゴリズムを導入し、既知の $\Omega(\log k)$ の下界と対数的要因を除いて一致する。
• 本稿では $k$-ミーンスに対して $\tilde{\Omega}(k)$ の下界を証明し、$\tilde{O}(k)$ の競合比がほぼ最適であることを示す。
• $\ell_2$ ノルム $k$-メディアンに対して $\Omega(\log k)$ の下界を確立し、新しいアルゴリズムの競合比と対数的要因を除いて一致する。
• 中心を $d$ 個の赤黒木に保持し、パーティションの更新を効率的に行うことで、$O(kd\log^2k)$ 時間で実行される高速版アルゴリズムを実現する。