[論文レビュー] ExKMC: Expanding Explainable $k$-Means Clustering

Nave Frost, Michal Moshkovitz+1 more|arXiv (Cornell University)|Jun 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 14

ひとこと要約

ExKMC は、$k$ 個のクラスタに対して $k'$ 個のリーフを持つ意思決定木を用いることで、説明可能性と正確性の間で柔軟なトレードオフを可能にする、新しいアルゴリズムである。$k' \geq k$ であり、代理コスト関数を用いて効率的に木を拡張し、クラスタを割り当てる。従来の手法よりも低いクラスタリングコストを達成しながら、特徴に基づいた解釈可能な説明を維持する。

ABSTRACT

Despite the popularity of explainable AI, there is limited work on effective methods for unsupervised learning. We study algorithms for $k$-means clustering, focusing on a trade-off between explainability and accuracy. Following prior work, we use a small decision tree to partition a dataset into $k$ clusters. This enables us to explain each cluster assignment by a short sequence of single-feature thresholds. While larger trees produce more accurate clusterings, they also require more complex explanations. To allow flexibility, we develop a new explainable $k$-means clustering algorithm, ExKMC, that takes an additional parameter $k' \geq k$ and outputs a decision tree with $k'$ leaves. We use a new surrogate cost to efficiently expand the tree and to label the leaves with one of $k$ clusters. We prove that as $k'$ increases, the surrogate cost is non-increasing, and hence, we trade explainability for accuracy. Empirically, we validate that ExKMC produces a low cost clustering, outperforming both standard decision tree methods and other algorithms for explainable clustering. Implementation of ExKMC available at https://github.com/navefr/ExKMC.

研究の動機と目的

• 特にクラスタリングに対して、有効な説明可能な教師なし学習手法の不足に対処すること。
• 従来の説明可能な $k$-means アルゴリズムが意思決定木のリーフ数を正確に $k$ 個に制限するという制限を克服すること。
• $k' \geq k$ のリーフ数を許容することで、クラスタリングの正確性と説明の複雑さの間の調整可能なトレードオフを実現すること。
• 低コストのクラスタリングを維持しながら、人間が解釈可能なクラスタ割り当てを生成できる、効率的かつスケーラブルなアルゴリズムを開発すること。
• 実験的に、$k$ 個のリーフを超えて木のサイズを拡大することで、コストが単調に減少し、近似的に最適なクラスタリングが達成されることを示すこと。

提案手法

• 初期の $k$ 個のリーフを持つ意思決定木と $k$ 個のクラスタ割り当てを生成するために、反復的誤り最小化（IMM）アルゴリズムを用いる。
• 標準的な $k$-means からの固定された $k$ 個の基準中心に基づいた代理コスト関数を導入し、木の拡張を効率的に行う。
• 各ステップで、代理コストを最小化するように、新しい特徴-しきい値の分割を加えることで、木を貪欲に拡張する。
• 各リーフを最も近い基準中心に基づいて $k$ 個のクラスタのいずれかに割り当てる。複数のリーフが同じクラスタにマッピングされてもよい。
• $k'$ が増加するにつれて代理コストが非増加であることを保証し、クラスタリング品質の単調な改善を保証する。
• 特に高次元およびスパースなデータセットにおいても性能を最適化するため、特徴ごとの並列処理を用いる。

実験結果

リサーチクエスチョン

• RQ1 意思決定木のリーフ数を $k$ 個を超えて拡張することで、従来の説明可能なクラスタリング手法よりも低い $k$-means クラスタリングコストを達成できるか？
• RQ2 しきい値木のリーフ数を増やすことで、説明可能性を維持したままクラスタリングコストが単調に減少するか？
• RQ3 木の拡張中に、代理コストが真の $k$-means コストをどれほどよく近似できるか？
• RQ4 実世界の高次元データセットにおいて、木ベースのクラスタリングは標準的な $k$-means のコストにどの程度近づけるか？
• RQ5 実世界の応用において、説明の複雑さ（リーフ数）とクラスタリングの正確性の間の実用的なトレードオフはどのようなものか？

主な発見

• ExKMC は、標準的な $k$-means および従来の説明可能なクラスタリング手法（IMM を含む）よりも一貫して低い $k$-means クラスタリングコストを達成する。
• リーフ数を $k' = 4k$ に増やすと、ExKMC は大多数の実際のデータセットで基準 $k$-means クラスタリングのコストに一致し、ほぼ最適な性能を示す。
• 代理コストは実際の $k$-means コストを非常によく追跡しており、すべてのデータセットで最大5〜10%の差異にとどまり、$k'$ が増加するにつれて3つのデータセットで収束する。
• ExKMC はすべてのテストデータセットで15分未満で実行され、高次元データ（例：20newsgroups）でさえも、標準 $k$-means と比較して最大1.5倍のオーバーヘッド（最小0.25倍）で実行される。
• リーフ数 $k'$ が増加するにつれてコストが単調に減少するという性質が確認され、理論的にも代理コストが非増加であることが裏付けられた。
• CIFAR-10 では、ピクセル特徴をそのまま用いた場合、いかなる手法も収束しなかったが、ExKMC は $4k$ 個のリーフを用いて依然として優れた性能を示し、複雑なデータへのロバストネスを示した。