[논문 리뷰] XAI Beyond Classification: Interpretable Neural Clustering

Xi Peng, Yunnan Li외 4명|arXiv (Cornell University)|2018. 08. 22.

Explainable Artificial Intelligence (XAI)인용 수 58

한 줄 요약

본 논문은 본질적으로 해석 가능한 신경망 TELL을 제시한다. 이를 통해 k-means를 미분 가능 한 클러스터링 계층으로 재구성하여 엔드-투-엔드 학습, 온라인/병렬 클러스터링, 수렴 보장과 함께 확장성을 개선한다.

ABSTRACT

In this paper, we study two challenging problems in explainable AI (XAI) and data clustering. The first is how to directly design a neural network with inherent interpretability, rather than giving post-hoc explanations of a black-box model. The second is implementing discrete $k$-means with a differentiable neural network that embraces the advantages of parallel computing, online clustering, and clustering-favorable representation learning. To address these two challenges, we design a novel neural network, which is a differentiable reformulation of the vanilla $k$-means, called inTerpretable nEuraL cLustering (TELL). Our contributions are threefold. First, to the best of our knowledge, most existing XAI works focus on supervised learning paradigms. This work is one of the few XAI studies on unsupervised learning, in particular, data clustering. Second, TELL is an interpretable, or the so-called intrinsically explainable and transparent model. In contrast, most existing XAI studies resort to various means for understanding a black-box model with post-hoc explanations. Third, from the view of data clustering, TELL possesses many properties highly desired by $k$-means, including but not limited to online clustering, plug-and-play module, parallel computing, and provable convergence. Extensive experiments show that our method achieves superior performance comparing with 14 clustering approaches on three challenging data sets. The source code could be accessed at \url{www.pengxi.me}.

연구 동기 및 목표

• 비지도 학습 클러스터링을 위한 본질적으로 해석 가능한 신경망을 동기 부여하고 설계한다.
• vanilla k-means를 신경망 계층으로 미분 가능하게 재구성한다.
• 수렴 보장이 가능한 온라인/병렬 클러스터링 및 엔드-투-엔드 표현 학습을 가능하게 한다.

제안 방법

• cluster-centre 기반의 선형 초평면 W와 바이어스 b를 사용하여 vanilla k-means 목적함수를 미분 가능 신경망 계층으로 재구성한다.
• 온도 매개변수 tau를 이용한 소프트 어텐션 유사한 형식 I_j(X_i)으로 범주 할당을 완화한다.
• 트레이닝 중 W와 b를 분리하여 자명한 해를 피하고 안정적인 최적화를 위해 군집 계층의 가중치와 그 기울기를 모두 정규화한다.
• Cluster centres를 Omega* = 1/2 W*로 회복하고 데이터/중심을 단위 길이로 정규화하여 유클리드 거리 의미를 보존한다.
• 재구성 손실과 클러스터링 손실을 결합하여 L = L_rec + lambda L_clu로 끝-to-끝으로 클러스터링에 유리한 표현을 학습하기 위해 자동인코더를 통합한다.

실험 결과

연구 질문

• RQ1 사후 해설 없이도 내재적으로 해석 가능한 신경망을 구축하여 클러스터링을 수행할 수 있는가?
• RQ2 k-means의 미분 가능 재구성이 엔드-투-엔드 학습 및 온라인/미니배치 클러스터링을 가능하게 하는가?
• RQ3 해석 가능성과 확장성을 유지하면서 이 모델이 이론적 수렴 보장을 제공할 수 있는가?
• RQ4 클러스터링 계층을 표현 학습과 통합하는 것이 대규모 데이터셋에서 클러스터링 성능에 어떤 영향을 미치는가?

주요 결과

• TELL은 설계상 해석 가능한 신경 클러스터링 모델을 제공하며, 군집 중심을 직접 신경 계층의 가중치 매개변수로 인코딩한다.
• 이 방법은 SGD하에 수렴 특성을 증명 가능한 온라인 및 미니배치 최적화를 지원한다.
• 군집 가중치와 기울기의 정규화는 학습을 안정화하고 반복 간 군집 중심의 의미를 유지한다.
• 엔드-투-엔드 학습은 재구성 손실과 클러스터링 손실을 결합하여 클러스터링에 유리한 표현을 학습한다.
• 실험 결과 TELL은 세 가지 어려운 데이터셋(MNIST, CIFAR-10, CIFAR-100)에서 14개의 경쟁 방법과 비교하여 우수한 클러스터링 성능을 달성하는 것으로 나타났다.