[논문 리뷰] ExKMC: Expanding Explainable $k$-Means Clustering

Nave Frost, Michal Moshkovitz외 1명|arXiv (Cornell University)|2020. 06. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 57인용 수 14

한 줄 요약

ExKMC는 설명 가능성을 높이기 위해 결정 트리의 잎 수 $k'$를 $k$보다 크게 허용함으로써 설명 가능성과 정확성 사이의 탄력적인 트레이드오프를 가능하게 하는 새로운 알고리즘입니다. 이 알고리즘은 $k$-means 클러스터링의 표준 중심을 기반으로 한 서rogate 비용 함수를 사용하여 트리를 효율적으로 확장하고 클러스터를 할당함으로써, 이전 방법들보다 낮은 클러스터링 비용을 달성하면서도 해석 가능한 특성 기반 설명을 유지합니다.

ABSTRACT

Despite the popularity of explainable AI, there is limited work on effective methods for unsupervised learning. We study algorithms for $k$-means clustering, focusing on a trade-off between explainability and accuracy. Following prior work, we use a small decision tree to partition a dataset into $k$ clusters. This enables us to explain each cluster assignment by a short sequence of single-feature thresholds. While larger trees produce more accurate clusterings, they also require more complex explanations. To allow flexibility, we develop a new explainable $k$-means clustering algorithm, ExKMC, that takes an additional parameter $k' \geq k$ and outputs a decision tree with $k'$ leaves. We use a new surrogate cost to efficiently expand the tree and to label the leaves with one of $k$ clusters. We prove that as $k'$ increases, the surrogate cost is non-increasing, and hence, we trade explainability for accuracy. Empirically, we validate that ExKMC produces a low cost clustering, outperforming both standard decision tree methods and other algorithms for explainable clustering. Implementation of ExKMC available at https://github.com/navefr/ExKMC.

연구 동기 및 목표

• 특히 클러스터링에 대해 효과적인 설명 가능한 비지도 학습 방법의 부족을 해결합니다.
• 이전의 설명 가능한 $k$-means 알고리즘들이 결정 트리의 잎 수를 정확히 $k$로 제한하는 한계를 극복합니다.
• $k' \geq k$의 잎 수를 允허함으로써 클러스터링 정확성과 설명 복잡성 사이의 조절 가능한 트레이드오프를 가능하게 합니다.
• 낮은 클러스터링 비용을 유지하면서도 인간이 이해할 수 있는 클러스터 할당을 제공하는 효율적이고 확장 가능한 알고리즘을 개발합니다.
• 실증적으로 $k$개의 잎 수를 초과하는 트리 크기를 증가시킬수록 비용이 단조롭게 감소하고 near-optimal 클러스터링 성능를 달성함을 보여줍니다.

제안 방법

• 초기 $k$-잎 결정 트리와 $k$개의 클러스터 할당을 생성하기 위해 반복적 실수 최소화(Iterative Mistake Minimization, IMM) 알고리즘을 사용합니다.
• 표준 $k$-means에서 유도된 고정된 $k$개의 기준 중심을 기반으로 한 서rogate 비용 함수를 도입하여 트리 확장을 효율적으로 가능하게 합니다.
• 각 단계에서 비용을 최소화하는 방향으로 새로운 특성-임계값 분할을 추가함으로써 트리를 탐욕적으로 확장합니다.
• 각 잎을 가장 가까운 기준 중심에 기반해 $k$개의 클러스터 중 하나에 할당하며, 동일한 클러스터에 여러 잎이 할당될 수 있습니다.
• 서rogate 비용이 $k'$가 증가함에 따라 감소하지 않음을 보장하여 클러스터링 품질 향상의 단조로운 개선을 보장합니다.
• 특성별 병렬 처리를 사용하여 성능을 최적화하며, 특히 고차원 및 희소 데이터셋에서 유리합니다.

실험 결과

연구 질문

• RQ1 결정 트리의 잎 수를 $k$개를 초과하여 확장함으로써, 기존의 설명 가능한 클러스터링 방법보다 낮은 $k$-means 클러스터링 비용을 달성할 수 있는가?
• RQ2 임계값 트리의 잎 수를 늘릴수록 클러스터링 비용이 단조롭게 감소하면서도 설명 가능성은 유지되는가?
• RQ3 트리 확장 과정에서 서rogate 비용이 진짜 $k$-means 비용을 얼마나 잘 근사하는가?
• RQ4 실제 고차원 데이터셋에서 트리 기반 클러스터링이 표준 $k$-means의 비용에 얼마나 가까이 도달할 수 있는가?
• RQ5 실제 응용에서 설명 복잡성(잎 수)과 클러스터링 정확성 사이의 실용적 트레이드오프는 어느 정도인가?

주요 결과

• ExKMC는 표준 $k$-means와 이전의 설명 가능한 클러스터링 방법(예: IMM 포함)보다 일관되게 낮은 $k$-means 클러스터링 비용을 달성합니다.
• 잎 수 $k' = 4k$일 경우, 대부분의 실세계 데이터셋에서 기준 $k$-means 클러스터링의 비용을 재현하며, 거의 최적의 성능을 보입니다.
• 서rogate 비용은 실제 $k$-means 비용을 매우 잘 추적하며, 모든 데이터셋에서 최대 5–10% 이내의 오차를 보이며, $k'$ 증가에 따라 세 데이터셋에서 수렴함을 확인했습니다.
• 모든 테스트 데이터셋에서 ExKMC는 15분 이내에 실행되며, 고차원 데이터셋인 20newsgroups와 같은 경우에도 표준 $k$-means 대비 오직 0.25×에서 1.5×의 오버헤드만을 가지며, 매우 효율적입니다.
• ExKMC는 $k'$가 증가함에 따라 비용이 단조롭게 감소함을 입증하여, 서rogate 비용이 비감소성을 보이는 이론적 성질을 확인했습니다.
• CIFAR-10에서는 원시 픽셀 특성을 사용할 경우 어떤 방법도 수렴하지만, ExKMC는 $4k$개의 잎을 사용함으로써 강력한 성능을 달성하여, 복잡한 데이터에 대한 강건성을 입증했습니다.