[論文レビュー] XAI Beyond Classification: Interpretable Neural Clustering

Xi Peng, Yunnan Li+4 more|arXiv (Cornell University)|Aug 22, 2018

Explainable Artificial Intelligence (XAI)被引用数 58

ひとこと要約

本論文は TELL を提案します。 本質的に解釈可能なニューラルネットワークであり、k-means を微分可能なクラスタリング層として再構成し、エンドツーエンド学習、オンライン/パラレルクラスタリング、収束保証を伴うスケーラビリティの向上を実現します。

ABSTRACT

In this paper, we study two challenging problems in explainable AI (XAI) and data clustering. The first is how to directly design a neural network with inherent interpretability, rather than giving post-hoc explanations of a black-box model. The second is implementing discrete $k$-means with a differentiable neural network that embraces the advantages of parallel computing, online clustering, and clustering-favorable representation learning. To address these two challenges, we design a novel neural network, which is a differentiable reformulation of the vanilla $k$-means, called inTerpretable nEuraL cLustering (TELL). Our contributions are threefold. First, to the best of our knowledge, most existing XAI works focus on supervised learning paradigms. This work is one of the few XAI studies on unsupervised learning, in particular, data clustering. Second, TELL is an interpretable, or the so-called intrinsically explainable and transparent model. In contrast, most existing XAI studies resort to various means for understanding a black-box model with post-hoc explanations. Third, from the view of data clustering, TELL possesses many properties highly desired by $k$-means, including but not limited to online clustering, plug-and-play module, parallel computing, and provable convergence. Extensive experiments show that our method achieves superior performance comparing with 14 clustering approaches on three challenging data sets. The source code could be accessed at \url{www.pengxi.me}.

研究の動機と目的

• 教師なしクラスタリングのために、本質的に解釈可能なニューラルネットワークの動機づけと設計。
• 基本的な k-means をニューラル層として微分可能に再表現する。
• 証明可能な収束性を備えたオンライン/並列クラスタリングとエンドツーエンドの表現学習を実現する。

提案手法

• クラスタ中心ベースの線形ハイパープレーン W とバイアス b を用いて、vanilla k-means の目的関数を微分可能なニューラル層へ再表現する。
• 温度パラメータ tau を介して、カテゴリ割り当てをソフトアテンション風の I_j(X_i) で緩和する。
• トレーニング中に W と b をデカップリングして退化解を回避し、安定な最適化のためにクラスタ層の重みと勾配の両方を正規化する。
• クラスタ中心を Omega* = 1/2 W* として回復し、データ/中心を単位長に正規化してユークリッド距離の意味を保持する。
• 再構成損失とクラスタリング損失を組み合わせて、エンドツーエンドでクラスタリングに適した表現を学習するためにオートエンコーダを統合する、L = L_rec + lambda L_clu。

実験結果

リサーチクエスチョン

• RQ1 ポストホックな説明なしにクラスタリングを行う、本質的に解釈可能なニューラルネットワークを構築できるだろうか？
• RQ2 k-means の微分可能な再表現はエンドツーエンド学習とオンライン/ミニバッチクラスタリングを可能にするか？
• RQ3 解釈可能性とスケーラビリティを維持しつつ、理論的な収束保証をモデルは提供できるか？
• RQ4 クラスタリング層を表現学習と統合することが、大規模データセットにおけるクラスタリング性能にどのように影響するか？

主な発見

• TELL は設計上解釈可能なニューラルクラスタリングモデルを提供し、クラスタ中心を直接ニューラル層の重みパラメータとしてエンコードする。
• この手法は SGD の下で、オンラインおよびミニバッチ最適化と証明可能な収束性をサポートする。
• クラスタ重みと勾配の正規化はトレーニングを安定化させ、反復を通じてクラスタ中心の意味的意味を保持する。
• エンドツーエンドのトレーニングは再構成損失とクラスタリング損失を組み合わせて、クラスタリングに有利な表現を学習する。
• 実証的な結果は、TELL が 3 つの難しいデータセット（MNIST、CIFAR-10、CIFAR-100）で 14 の競合手法と比較して優れたクラスタリング性能を達成することを示しています。