[論文レビュー] Explaining Deep Neural Networks using Unsupervised Clustering

Yu-han Liu, Sercan Ö. Arık|arXiv (Cornell University)|Jul 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 10

ひとこと要約

本稿では、中間層の活性化を無教師クラスタリングすることで、代替モデルを生成する、深層ニューラルネットワーク（DNN）の事後解釈手法を提案する。複数の層にわたる表現のクラスタリングにより、類似した訓練サンプルや学習済みの概念を同定し、ユーザースタディを通じてモデルの信頼性を向上させつつ、元のDNNとの高い忠実度を維持する。

ABSTRACT

We propose a novel method to explain trained deep neural networks (DNNs), by distilling them into surrogate models using unsupervised clustering. Our method can be applied flexibly to any subset of layers of a DNN architecture and can incorporate low-level and high-level information. On image datasets given pre-trained DNNs, we demonstrate the strength of our method in finding similar training samples, and shedding light on the concepts the DNNs base their decisions on. Via user studies, we show that our model can improve the user trust in model's prediction.

研究の動機と目的

• 層全体にわたる低レベルおよび高レベルの表現を体系的に分析することで、ブラックボックスDNNを解釈する課題に取り組む。
• アーキテクチャの変更やラベル付きの概念を必要としない、事後解釈フレームワークを構築する。
• 直感的で類似した訓練サンプルを支援的根拠として提供することで、DNN予測に対する人間の信頼性を向上させる。
• 人間が提供する概念やヒューリスティックな類似度メトリクスに依存せずに、概念ベースおよびサンプルベースの解釈を可能にする。

提案手法

• 事前学習済みDNNの複数層から中間活性化を抽出し、ラベルなしで類似表現をグループ化するための無教師クラスタリングを適用する。
• クラスタリングされた表現から学習することで、元のDNNの出力を模倣する代替モデルを訓練する。これにより忠実度を保ちつつ解釈性を向上させる。
• クラスタリングプロセスは、層全体にわたって低レベル（例：色、テクスチャ）および高レベル（例：オブジェクト構成、意味的コンテンツ）のパターンを捉える。
• テストサンプルと訓練サンプルの類似度は、クラスターセンタの埋め込み空間における距離によって決定され、サンプルベースの解釈が可能になる。
• エンコーダ・デコーダアーキテクチャを用いて、活性化からクラスタ割り当てを再構築・精錬することで、クラスタリング品質を向上させる。
• 本手法は訓練後適用されるため、任意のDNNアーキテクチャや任意の層のサブセットと柔軟かつ互換性がある。

実験結果

リサーチクエスチョン

• RQ1 中間DNN活性化の無教師クラスタリングは、意味的および視覚的に類似した訓練サンプルを効果的に同定できるか？
• RQ2 クラスタリングベースの代替モデルは、DNNが学習した低レベルおよび高レベルの概念をどの程度捉えられるか？
• RQ3 クラスタリングに基づく類似例の提供は、ベースラインの説明手法と比較して、人間のDNN予測に対する信頼性を向上させるか？
• RQ4 DNNが完全に正確でない場合でも、ラベルベースのフィルタリング（例：同じ粗いまたは細かいラベル）を上回るユーザーパerceived類似度および信頼性を達成できるか？
• RQ5 クラスタリングベースの蒸留を用いた代替モデルの忠実度は、元のDNNと比較してどの程度か？

主な発見

• CIFAR-100では、本手法が代替モデルの精度0.51および忠実度0.61を達成し、元のDNNと強い整合性を示した。
• 18名の参加者を対象としたユーザースタディでは、316回の試行のうち130回で最も類似した訓練画像が選択され、最近傍探索やラベルベースのフィルタリングを上回った。
• 磁気タイル欠陊データセットでは、同じ予測された粗いラベルからの類似例を用いることで、モデル予測に対するユーザートラストが向上（平均スコア3.91 ± 0.24）し、ベースライン手法を上回った。
• テスト画像の細かいラベルにアクセスできない状況（訓練時に使用されなかった）でも、本手法は信頼スコアでラベルベースのフィルタリングを上回り、ロバストネスと一般化能力を示した。
• クラスタリングされた概念は、低レベル特徴（例：色パレット）および高レベル意味的パターン（例：粗いラベルより細かい欠陊タイプ）を明らかにし、多層次元の解釈性を示した。
• 元のDNNがテスト画像を誤分類した場合でも、関連する訓練サンプルを正しく同定できたため、実世界のシナリオにおいて信頼性があることが確認された。