[論文レビュー] Near-Optimal Explainable $k$-Means for All Dimensions

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|Jun 29, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用数 6

ひとこと要約

この論文は、$k$-meansクラスタリングの説明可能性を満たす効率的なアルゴリズムを提示しており、$k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ の競合比を達成する。これは、すべての次元 $d \geq 2$ において、以前の $O(k\log k)$ の境界を改善する。この手法は、任意のクラスタリングに対して後処理を施し、軸に平行な超平面を用いて $k$ 個のリーフを持つ決定木を構築する。この境界は、多項式対数的要因を除いて近似的に最適であることが示されている。

ABSTRACT

Many clustering algorithms are guided by certain cost functions such as the widely-used $k$-means cost. These algorithms divide data points into clusters with often complicated boundaries, creating difficulties in explaining the clustering decision. In a recent work, Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020) introduced explainable clustering, where the cluster boundaries are axis-parallel hyperplanes and the clustering is obtained by applying a decision tree to the data. The central question here is: how much does the explainability constraint increase the value of the cost function? Given $d$-dimensional data points, we show an efficient algorithm that finds an explainable clustering whose $k$-means cost is at most $k^{1 - 2/d}\,\mathrm{poly}(d\log k)$ times the minimum cost achievable by a clustering without the explainability constraint, assuming $k,d\ge 2$. Taking the minimum of this bound and the $k\,\mathrm{polylog} (k)$ bound in independent work by Makarychev-Shan (ICML 2021), Gamlath-Jia-Polak-Svensson (2021), or Esfandiari-Mirrokni-Narayanan (2021), we get an improved bound of $k^{1 - 2/d}\,\mathrm{polylog}(k)$, which we show is optimal for every choice of $k,d\ge 2$ up to a poly-logarithmic factor in $k$. For $d = 2$ in particular, we show an $O(\log k\log\log k)$ bound, improving near-exponentially over the previous best bound of $O(k\log k)$ by Laber and Murtinho (ICML 2021).

研究の動機と目的

• 決定木による軸に平行な超平面境界の導入によって、$k$-meansクラスタリングにおける解釈可能性の課題に取り組む。
• 制約のない $k$-meansクラスタリングと比較して、説明可能性に起因するコスト増加（競合比として測定）を低減する。
• 特に $d < \log k$ の場合に顕著な低次元データの競合比境界のギャップを埋める。
• 多項式対数的要因を除いて、提案された競合比の最適性を示す厳密な下界を確立する。

提案手法

• 任意の $k$-クラスタリングを後処理し、軸に平行な超平面を用いて再帰的にデータを分割することで、$k$ 個のリーフを持つ決定木を構築する。
• 幾何学的および確率的議論を活用し、クラスタコストと木の深さのバランスを取る再帰的分割戦略を採用する。
• $k$-クラスタリングと区間カバーを基にした再帰的分解を用い、再帰的不等式によりコスト増加を上限付ける。
• コスト増幅を制御するため、重複のない区間を選択するためにバチリ型カバー補題を適用する。
• コスト増加を再帰的段階で上限付けるために、$z_1 + z_2 \leq z + u\Delta$ と $\alpha(z) = z^{1+2u}$ を含む重要な不等式を導入する。
• 独立した先行研究からの既存手法と組み合わせることで、すべての $k,d \geq 2$ に対して統一的な境界 $k^{1-2/d} \cdot \mathrm{poly}(\log k)$ を達成する。

実験結果

リサーチクエスチョン

• RQ1 すべての次元 $d \geq 2$ に対して、$O(k\log k)$ よりも優れた競合比を達成できるか？
• RQ2 すべての $k,d \geq 2$ に対して、競合比 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ は近似的に最適か？
• RQ3 $d=2$ の場合の最良の可能な競合比は何か？ これは $O(k\log k)$ より著しく改善可能か？
• RQ4 $d \ll \log k$ のとき、次元 $d$ が競合比にどのように影響するか？

主な発見

• 提案されたアルゴリズムは、$k$-meansコストに対して $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ の競合比を達成し、すべての $d \geq 2$ において、以前の $O(k\log k)$ の境界を改善する。
• 特に $d=2$ の場合、競合比は $O(\log k \log \log k)$ となり、以前の $O(k\log k)$ の境界と比べてほぼ指数的改善を達成する。
• 多項式対数的要因を除いて、$k$ に関して最適であることが、一致する下界構築により示された。
• $d = \Omega(\log k)$ のとき、独立した先行研究と組み合わせることで、競合比が $k^{1-2/d} \cdot \mathrm{poly}(\log k)$ に改善される。
• 競合比に対して $\Omega(k^{1-2/d} / \mathrm{poly}(\log k))$ の下界が証明され、近似的に最適性が確認された。
• 分析により、競合比における $k$ と $d$ のトレードオフがタイトであり、指数部 $1-2/d$ が最適であることが示された。