[論文レビュー] A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights

Abeegithan Jeyasothy, Suresh Sundaram+2 more|arXiv (Cornell University)|Feb 28, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 8

ひとこと要約

本論文は、時間変動するシナプス可塑性を持つ多クラススパイクニューラルネットワーク（MC-SEFRON）から、時間領域における重み付きシナプス後膜電位を特徴領域における特徴強度関数（FSFs）に変換することで、解釈可能な知識を抽出する新規手法を提案する。FSFsを用いることで、最小限の精度低下（UCIデータセットでは平均0.9%、MNISTでは0.1%）で解釈可能かつ信頼性の高い分類が可能となり、時間領域における分類と特徴領域における解釈の整合性が示された。

ABSTRACT

This paper presents a novel method for information interpretability in an MC-SEFRON classifier. To develop a method to extract knowledge stored in a trained classifier, first, the binary-class SEFRON classifier developed earlier is extended to handle multi-class problems. MC-SEFRON uses the population encoding scheme to encode the real-valued input data into spike patterns. MC-SEFRON is trained using the same supervised learning rule used in the SEFRON. After training, the proposed method extracts the knowledge for a given class stored in the classifier by mapping the weighted postsynaptic potential in the time domain to the feature domain as Feature Strength Functions (FSFs). A set of FSFs corresponding to each output class represents the extracted knowledge from the classifier. This knowledge encoding method is derived to maintain consistency between the classification in the time domain and the feature domain. The correctness of the FSF is quantitatively measured by using FSF directly for classification tasks. For a given input, each FSF is sampled at the input value to obtain the corresponding feature strength value (FSV). Then the aggregated FSVs obtained for each class are used to determine the output class labels during classification. FSVs are also used to interpret the predictions during the classification task. Using ten UCI datasets and the MNIST dataset, the knowledge extraction method, interpretation and the reliability of the FSF are demonstrated. Based on the studies, it can be seen that on an average, the difference in the classification accuracies using the FSF directly and those obtained by MC-SEFRON is only around 0.9% & 0.1\% for the UCI datasets and the MNIST dataset respectively. This clearly shows that the knowledge represented by the FSFs has acceptable reliability and the interpretability of classification using the classifier's knowledge has been justified.

研究の動機と目的

• スパイクニューラルネットワーク、特に多クラス設定において意思決定が不透明であるという解釈不能性の問題に対処すること。
• 集団符号化と時間変動するシナプス可塑性を用いて、二値分類用のSEFRON分類器を多クラス分類に拡張すること。
• 時間領域における分類意思決定と特徴領域における解釈の整合性を保証する知識符号号化手法を開発すること。
• FSFsを直接用いた分類によって、抽出された知識の信頼性を定量的に検証すること。
• シナプスダイナミクスから導出される特徴強度値を用いて、分類器の予測を透明かつ人間が解釈可能な形で説明すること。

提案手法

• 実数値入力をスパイクパターンに変換するための集団符号化を用いて、二値分類用SEFRON分類器を多クラス版（MC-SEFRON）に拡張する。
• 二値分類用バージョンから適応された修正版スパイク時刻依存可塑性（STDP）ルールを用いてMC-SEFRON分類器を学習する。
• ヘヴィサイド関数とシナプス効率関数に基づく知識符号号化手法を用いて、時間領域における重み付きシナプス後膜電位を特徴領域に変換する。
• 各入力特徴が各出力クラスに与える影響を表す連続関数として、特徴空間内に特徴強度関数（FSFs）を定義する。
• 入力特徴値におけるFSFsのサンプリングを行い、各クラスごとの集約特徴強度値を計算し、それらをもとに出力クラスを予測する。
• FSFsの数学的定式化を時間的ダイナミクスと一致させることで、時間領域における分類と特徴領域における解釈の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 時間変動するシナプス可塑性を持つ多クラススパイクニューラルネットワークに対して、体系的な知識抽出手法を用いて解釈可能にできるか。
• RQ2 スパイク分類器におけるシナプス後膜電位の時間的ダイナミクスを、解釈可能性を高めるために特徴領域に意味的にマッピングできるか。
• RQ3 特徴強度関数（FSFs）として表現される抽出知識が、元のMC-SEFRON分類器の分類性能をどの程度維持できるか。
• RQ4 FSFsが個々の特徴が各クラスに与える寄与度を定量的に評価することで、分類器の意思決定を信頼性があり人間が読める形で説明できるか。
• RQ5 時間領域における分類意思決定と、FSFsを用いた特徴領域からの解釈の間には一貫性があるか。

主な発見

• 提案された知識抽出手法により、時間領域におけるシナプスダイナミクスが特徴領域における解釈可能な特徴強度関数（FSFs）に的確にマッピングされた。
• UCIデータセット10種類の平均で、抽出されたFSFsを用いた分類精度は、元のMC-SEFRON分類器と比較して0.9%以内の低下に抑えられ、高い信頼性が示された。
• MNISTデータセットでは、FSFsを用いた性能低下がたった0.1%にとどまり、元の分類器の精度にほぼ等しいことが確認された。
• 特徴強度ヒートマップにより、入力特徴が分類に正または負の寄与を及ぼす様子が視覚的に明らかになった。青（負）、緑（中立）、赤（正）の領域は、それぞれ影響度の高低を示している。
• FSFsにおける強化と弱体化のメカニズムが、正しい予測を説明している：クラス固有のテンプレートと一致すると集約特徴強度が上昇し、不一致では低下する。
• 時間領域における分類と特徴領域における解釈の間で整合性が保たれており、抽出知識の論理的整合性が裏付けられた。