[논문 리뷰] A novel method for extracting interpretable knowledge from a spiking neural classifier with time-varying synaptic weights

Abeegithan Jeyasothy, Suresh Sundaram외 2명|arXiv (Cornell University)|2019. 02. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 8

한 줄 요약

이 논문은 시간에 따라 변화하는 시냅스 가중치를 가진 다중 클래스 스파iking 신경망(MC-SEFRON)으로부터 해석 가능한 지식을 추출하기 위한 새로운 방법을 제안한다. 시간 도메인의 가중치가 부여된 후합전위를 특성 도메인의 특성 강도 함수(FSFs)로 변환함으로써 가능해진다. FSFs를 통해 정확도 저하가 최소화된 해석 가능하고 신뢰할 수 있는 분류가 가능하며, UCI 데이터셋에서는 평균 0.9% 이하, MNIST에서는 0.1% 이하의 정확도 손실을 보이며, 시간 도메인의 분류와 특성 도메인의 해석 간 일관성을 입증한다.

ABSTRACT

This paper presents a novel method for information interpretability in an MC-SEFRON classifier. To develop a method to extract knowledge stored in a trained classifier, first, the binary-class SEFRON classifier developed earlier is extended to handle multi-class problems. MC-SEFRON uses the population encoding scheme to encode the real-valued input data into spike patterns. MC-SEFRON is trained using the same supervised learning rule used in the SEFRON. After training, the proposed method extracts the knowledge for a given class stored in the classifier by mapping the weighted postsynaptic potential in the time domain to the feature domain as Feature Strength Functions (FSFs). A set of FSFs corresponding to each output class represents the extracted knowledge from the classifier. This knowledge encoding method is derived to maintain consistency between the classification in the time domain and the feature domain. The correctness of the FSF is quantitatively measured by using FSF directly for classification tasks. For a given input, each FSF is sampled at the input value to obtain the corresponding feature strength value (FSV). Then the aggregated FSVs obtained for each class are used to determine the output class labels during classification. FSVs are also used to interpret the predictions during the classification task. Using ten UCI datasets and the MNIST dataset, the knowledge extraction method, interpretation and the reliability of the FSF are demonstrated. Based on the studies, it can be seen that on an average, the difference in the classification accuracies using the FSF directly and those obtained by MC-SEFRON is only around 0.9% & 0.1\% for the UCI datasets and the MNIST dataset respectively. This clearly shows that the knowledge represented by the FSFs has acceptable reliability and the interpretability of classification using the classifier's knowledge has been justified.

연구 동기 및 목표

• 스파이킹 신경망, 특히 다중 클래스 설정에서 의사결정이 투명하지 못한 점을 해결하기 위해.
• 집단 인코딩과 시간에 따라 변화하는 시냅스 가중치를 사용하여 이진 클래스 SEFRON 분류기를 다중 클래스 분류로 확장하기 위해.
• 시간 도메인의 분류 결정과 특성 도메인의 해석 간 일관성을 보장하는 지식 인코딩 방법을 개발하기 위해.
• FSFs를 직접 분류에 사용하여 추출된 지식의 신뢰성을 정량적으로 검증하기 위해.
• 시냅스 동역학에서 유도된 특성 강도 값에 기반하여 분류기 예측에 대한 투명하고 인간이 이해할 수 있는 설명을 제공하기 위해.

제안 방법

• 실수 값 입력을 스파이크 패턴으로 변환하기 위해 인코딩된 집단 방식을 사용하여 이진 클래스 SEFRON 분류기를 다중 클래스 버전(MC-SEFRON)으로 확장한다.
• 이진 클래스 버전에서 유도된 수정된 스파ike-시간 의존 성숙도(STDP) 규칙을 사용하여 MC-SEFRON 분류기를 훈련시킨다.
• 헤비사이드 함수와 시냅스 효율 함수를 기반으로 한 지식 인코딩 방법을 사용하여 시간 도메인의 가중치가 부여된 후합전위를 특성 도메인으로 변환한다.
• 각 입력 특성이 각 출력 클래스에 미치는 영향을 나타내는 특성 공간 내 연속 함수로 특성 강도 함수(FSFs)를 정의한다.
• 입력 특성 값에서 FSFs를 샘플링하여 각 클래스별로 집계된 특성 강도 값을 계산하고, 이를 바탕으로 출력 클래스를 예측한다.
• FSFs의 수학적 공식을 시간 동역학과 일치시켜 시간 도메인의 분류와 특성 도메인의 해석 간 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 시냅스 가중치를 가진 다중 클래스 스파이킹 신경망을 체계적인 지식 추출 방법을 통해 해석 가능하게 만들 수 있는가?
• RQ2 스파이킹 분류기의 후합전위 시간 동역학을 특성 도메인으로 의미 있게 매핑할 수 있는가?
• RQ3 특성 강도 함수(FSFs)로 표현된 추출 지식이 원래 MC-SEFRON 분류기의 분류 성능을 어느 정도 유지하는가?
• RQ4 FSFs는 개별 특성이 각 클래스에 기여하는 정도를 정량화하여 분류기 결정에 대한 신뢰할 수 있고 인간이 읽을 수 있는 설명을 제공할 수 있는가?
• RQ5 시간 도메인에서 내린 분류 결정과 FSFs를 사용한 특성 도메인에서 유도된 해석 간 일관성이 존재하는가?

주요 결과

• 제안된 지식 추출 방법은 시간 도메인의 시냅스 동역학을 특성 도메인의 해석 가능한 특성 강도 함수(FSFs)로 성공적으로 매핑한다.
• UCI 데이터셋 10종에 걸쳐 평균적으로 원래 MC-SEFRON 분류기와 0.9% 이내의 정확도 손실을 보이며, 높은 신뢰성을 입증한다.
• MNIST 데이터셋에서는 FSFs를 사용한 성능 저하가 오직 0.1%에 불과하여 원래 분류기의 정확도와 거의 동일함을 보이며 근사적 일치를 입증한다.
• 특성 강도 히트맵은 입력 특성이 분류에 긍정적 또는 부정적으로 기여하는 방식을 시각적으로 드러내며, 파란색(부정적), 초록색(중립), 빨간색(긍정적) 영역이 기여 수준을 나타낸다.
• FSFs의 강화 및 약화 메커니즘이 정확한 예측을 설명한다: 클래스 전용 템플릿과 일치할 경우 집계된 특성 강도가 증가하고, 불일치할 경우 감소한다.
• 이 방법은 시간 도메인의 분류와 특성 도메인의 해석 간 일관성을 확보하여 추출된 지식의 논리적 일관성을 검증한다.