[論文レビュー] Shallow decision trees for explainable $k$-means clustering

Eduardo Sany Laber, Lucas Murtinho+1 more|arXiv (Cornell University)|Dec 29, 2021

Rough Sets and Fuzzy Logic被引用数 6

ひとこと要約

この論文は、$k$-meansコストと説明可能性指標（例：加重平均深さ（WAD）や加重平均説明サイズ（WAES））の両方を最小化するように、浅い決定木を構築する効率的なアルゴリズムExShallowを提案する。既存手法に比べ、はるかに浅い木を達成しつつ同等または優れたクラスタリング品質を実現し、性能を犠牲にすることなく解釈可能性を向上させる。

ABSTRACT

A number of recent works have employed decision trees for the construction of explainable partitions that aim to minimize the $k$-means cost function. These works, however, largely ignore metrics related to the depths of the leaves in the resulting tree, which is perhaps surprising considering how the explainability of a decision tree depends on these depths. To fill this gap in the literature, we propose an efficient algorithm that takes into account these metrics. In experiments on 16 datasets, our algorithm yields better results than decision-tree clustering algorithms such as the ones presented in \cite{dasgupta2020explainable}, \cite{frost2020exkmc}, \cite{laber2021price} and \cite{DBLP:conf/icml/MakarychevS21}, typically achieving lower or equivalent costs with considerably shallower trees. We also show, through a simple adaptation of existing techniques, that the problem of building explainable partitions induced by binary trees for the $k$-means cost function does not admit an $(1+ε)$-approximation in polynomial time unless $P=NP$, which justifies the quest for approximation algorithms and/or heuristics.

研究の動機と目的

• 説明可能な決定木クラスタリングにおける葉の深さ指標への注目不足に起因する、モデルの解釈可能性に直接影響を与える要因を是正すること。
• $k$-meansコストとWADやWAESのような説明可能性指標を同時に最小化するアルゴリズムの開発。
• パrameter $\lambda$ を用いた、クラスタリング品質と木の深さの間のチューナブルなトレードオフの提供。
• 既存の説明可能なクラスタリングアルゴリズムを凌駁し、低コストではるかに浅い木を持つパーティションを生成すること。
• 計算効率を確保しつつ、決定木を用いた$k$-meansクラスタリングにおける解釈可能性を向上させること。

提案手法

• アルゴリズムは、Lloydのアルゴリズムを用いて得られる説明不可能な$k$-meansパーティションから始めて、トップダウンに決定木を構築する。
• 各ノードで、$k$-meansコスト、WAD、WAESのトレードオフを最適化するカット（次元と閾値）を選択し、チューナブルパrameter $\lambda$ を用いる。
• WADおよびWAESへの潜在的カットの影響を推定する効率的な評価手法を導入し、非効率な分割の即時 pruning を可能にする。
• クラスタリングコストと深さに基づく説明可能性指標を組み合わせた重み付きコスト関数を用い、制御されたトレードオフを可能にする。
• 各データセットに対して$\lambda$を最適化するための二分探索を採用し、コストと説明可能性の両面でベースライン手法を上回る性能を実現する。
• 計算効率を重視した設計となっており、他の最先端の説明可能なクラスタリングアルゴリズムと同等の実行時間となる。

実験結果

リサーチクエスチョン

• RQ1 説明可能なクラスタリングアルゴリズムとして、$k$-meansコストと葉の深さ指標（例：WADやWAES）を同時に最小化できるものを作成可能か？
• RQ2 深さに基づく説明可能性指標を組み込むことで、決定木ベースのクラスタリングの性能と解釈可能性にどのような影響を与えるか？
• RQ3 クラスタリング品質を劣化させることなく、既存手法を上回る解釈可能性を達成可能か？
• RQ4 トレードオフパrameter $\lambda$ のチューニングが、クラスタリングコストと木の深さのバランスに与える影響は何か？
• RQ5 提案されたアルゴリズムは、実世界のデータセットに実用的であるほど計算効率が高いか？

主な発見

• 16のデータセットにおいて、ExShallowは既存手法の最良の結果と同等または優れた$k$-meansコストを達成し、WAESおよびWADにおいて統計的に有意な改善を示した。
• Avilaデータセットでは、ExShallowによりWAESが5.4（ExGreedy）から3.7に、WADが6.2から3.8に低下し、解釈可能性の顕著な向上を示した。
• 最適化された$\lambda$を用いたExShallowは、16データセットのうち10つでKMCよりも低い正規化パーティションコスト（NPC）を達成し、WAESおよびWADの両面でも改善を示した。
• 中央値としての正規化パーティションコストは1.15を記録し、ExGreedy（1.17）およびIMM（1.16）を上回った。WAES（3.35 vs. 3.63）およびWAD（3.58 vs. 3.72）においても顕著な優位性を示した。
• 実行時間は競争力があり、ExShallowの平均時間（2.65秒）はExGreedy（3.81秒）に近く、IMM（3.22秒）よりも速く、実世界での利用に実用的である。
• ExShallowは、クラスタリング品質を同等または上回りつつ、解釈可能性指標でExGreedyおよびIMMを一貫して上回り、コストと解釈可能性のバランスを最適に保つ優位性を示した。