[논문 리뷰] Interpreting and Explaining Deep Neural Networks for Classification of Audio Signals

Sören Becker, Marcel R. Ackermann외 3명|arXiv (Cornell University)|2018. 07. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 113

한 줄 요약

이 논문은 음성 분류에서 깊이 신경망의 해석 가능성을 높이기 위해 계층별 중요도 전파(LRP)를 적용하며, 새로운 영어 말하기 숫자 데이터셋을 사용해 파형 및 스펙트로그램 기반 모델의 특징 중요도를 분석한다. 결과는 네트워크가 LRP에 의해 특정된 중요 특징에 크게 의존하고 있음을 확인하여, LRP 방법이 음성 분류 결정을 설명하는 데 효과적임을 입증한다.

ABSTRACT

Interpretability of deep neural networks is a recently emerging area of machine learning research targeting a better understanding of how models perform feature selection and derive their classification decisions. This paper explores the interpretability of neural networks in the audio domain by using the previously proposed technique of layer-wise relevance propagation (LRP). We present a novel audio dataset of English spoken digits which we use for classification tasks on spoken digits and speaker's gender. We use LRP to identify relevant features for two neural network architectures that process either waveform or spectrogram representations of the data. Based on the relevance scores obtained from LRP, hypotheses about the neural networks' feature selection are derived and subsequently tested through systematic manipulations of the input data. The results confirm that the networks are highly reliant on features marked as relevant by LRP.

연구 동기 및 목표

• 계층별 중요도 전파(LRP)를 적용하여 음성 분류에서 깊이 신경망의 해석 가능성을 향상시키기 위해.
• 학습 및 평가를 위한 새로운 영어 말하기 숫자 데이터셋을 개발하고 공개하기 위해.
• LRP 기반 설명을 사용하여 신경망이 말하기 숫자 및 화자 성별을 분류할 때 어떤 특징을 선택하는지 조사하기 위해.
• 체계적인 입력 조작을 통해 LRP에 의해 특정된 특징의 신뢰성을 검증하기 위해.

제안 방법

• 깊이 신경망의 계층을 거슬러 내려가 음성 입력에 대한 중요도 점수를 추적하기 위해 계층별 중요도 전파(LRP)를 제안하고 적용하기 위해.
• 새로운 말하기 숫자 데이터셋을 사용해 원시 파형을 처리하는 아키텍처와 스펙트로그램을 사용하는 아키텍처를 각각 훈련시키기 위해.
• LRP를 사용해 입력 민감도 맵을 생성하여 분류 결정에 가장 기여하는 음성의 부분(시간-주파수 영역 또는 파형 세그먼트)을 식별하기 위해.
• LRP에 의해 특정된 중요 영역을 마스킹하거나 수정함으로써 입력 데이터를 체계적으로 조작하여 모델의 강건성과 가설의 타당성을 테스트하기 위해.
• 아키텍처 간의 중요도 맵을 비교하여 특징 선택 행동의 차이를 분석하기 위해.

실험 결과

연구 질문

• RQ1 LRP에 의해 드러난 특징은 말하기 숫자와 화자 성별을 분류할 때 깊이 신경망이 의존하는 음성 특징은 무엇인가?
• RQ2 파형 대비 스펙트로그램 기반 아키텍처 간에 LRP가 생성한 중요도 점수는 얼마나 일관된가?
• RQ3 LRP에 의해 특정된 중요 특징이 수정되거나 제거될 경우 모델 예측은 어느 정도 변화하는가?
• RQ4 LRP는 말하기 숫자에서 피치, 형성음, 음소 전이와 같은 의미 있는 청각적 단서를 효과적으로 강조할 수 있는가?

주요 결과

• LRP에 의해 중요하게 표시된 특징에 대해 신경망이 높은 민감도를 보였으며, 이러한 영역을 마스킹하거나 수정할 경우 성능 저하가 심각하게 발생했다.
• LRP는 파형 및 스펙트로그램 표현 모두에서 형성음 전이 및 피치 곡선과 같은 청각적으로 의미 있는 영역을 효과적으로 강조했다.
• 스펙트로그램 기반 모델은 더 국소화된 중요도 맵을 보였고, 파형 기반 모델은 음소 지속 시간과 에너지 응답과 일치하는 넓은 시간 패턴을 강조했다.
• 체계적인 입력 조작을 통해 LRP에 의해 특정된 중요 특징을 제거할 경우 오분류가 발생했으며, 이는 해석 가능성 접근의 타당성을 검증했다.