[논문 리뷰] AudioMNIST: Exploring Explainable Artificial Intelligence for Audio Analysis on a Simple Benchmark

Sören Becker, Johanna Vielhaben외 4명|arXiv (Cornell University)|2018. 07. 09.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 30,000개의 영어 발화된 숫자 음성 샘플로 구성된 새로운 오픈소스 데이터셋인 AudioMNIST를 소개하고, 음성 분류에서 딥 네ural 네트워크 결정을 설명하기 위해 레이어별 중요도 전파(LRP)를 적용한다. 인간 사용자 연구를 통해 청각적 히트맵—청각으로 렌더링된 중요도 점수—가 시각적 히트맵보다 훨씬 더 해석 가능하다는 것을 입증하며, 음성 AI에서 모odal별 설명 형식의 중요성을 강조한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) is targeted at understanding how models perform feature selection and derive their classification decisions. This paper explores post-hoc explanations for deep neural networks in the audio domain. Notably, we present a novel Open Source audio dataset consisting of 30,000 audio samples of English spoken digits which we use for classification tasks on spoken digits and speakers' biological sex. We use the popular XAI technique Layer-wise Relevance Propagation (LRP) to identify relevant features for two neural network architectures that process either waveform or spectrogram representations of the data. Based on the relevance scores obtained from LRP, hypotheses about the neural networks' feature selection are derived and subsequently tested through systematic manipulations of the input data. Further, we take a step beyond visual explanations and introduce audible heatmaps. We demonstrate the superior interpretability of audible explanations over visual ones in a human user study.

연구 동기 및 목표

• 음성 분류 분야에서 표준화되고 오픈소스인 벤치마크가 부족한 문제를 해결하기 위해.
• LRP와 같은 사후 설명 방법을 활용해 딥 네럴 네트워크가 음성 작업에서 어떻게 결정을 내리는지 탐색하기 위해.
• 특히 음성 데이터를 대상으로 시각적 설명과 청각적 설명 간의 해석 가능성 차이를 평가하기 위해.
• LRP 중요도 점수를 청각적 히트맵으로 렌더링하는 새로운 방법을 개발하고 검증하기 위해.
• 설명 형식이 사용자 해석 가능성에 미치는 영향, 특히 음성 도메인에서의 영향을 입증하기 위해.

제안 방법

• 원웨이브폼과 스펙트로그램 형식으로 저장된 30,000개의 영어 발화된 숫자 녹음 데이터로 구성된 공개 데이터셋인 AudioMNIST를 구축한다.
• 원웨이브폼 기반과 스펙트로그램 기반의 두 가지 딥 네럴 네트워크 아키텍처를 구축하여 숫자 및 성별 분류 작업에 훈련시킨다.
• 각 예측에 대해 입력 특성의 중요도 점수를 계산하기 위해 레이어별 중요도 전파(LRP)를 적용한다.
• 중요도 값들을 음성 신호의 높이와 지속 시간에 매핑하여 LRP 중요도 점수를 청각적 히트맵으로 변환한다.
• 사용자 연구를 통해 시각적 히트맵, 청각적 히트맵, 원본 음성만을 사용했을 때의 성능을 비교한다.
• 해석 가능성의 정도를 측정하기 위해 정보성과 표시성 지표를 사용하여 설명 형식 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 원웨이브폼과 스펙트로그램을 사용할 때 발화된 숫자와 성별을 어떻게 분류하는가?
• RQ2 LRP 기반의 시각적 설명은 음성 분류에서 모델의 특성 선택 전략을 어느 정도 드러내는가?
• RQ3 청각적으로 렌더링된 중요도 점수인 청각적 히트맵은 시각적 히트맵보다 인간의 모델 결정 이해도를 향상시키는가?
• RQ4 설명의 모달성(시각적 vs. 청각적)은 사용자가 모델 예측을 이해하는 데 영향을 미치는가?
• RQ5 음성 분류 작업에서 시각적 설명, 청각적 설명, 원본 음성만을 사용했을 때의 해석 가능성은 어떻게 다른가?

주요 결과

• 스펙트로그램 기반 모델은 성별 분류에서 주로 저주파 성분에 의존하며, 기본 주파수의 차이에 민감함을 보인다.
• 웨이브폼 기반 모델은 입력 신호의 아주 소규모이고 국소화된 부분에 집중하며, 전반적인 특성 활용이 제한됨을 시사한다.
• 사용자 연구에서 더 높은 정보성과 표시성을 입증함으로써 청각적 히트맵이 시각적 히트맵보다 해석 가능성에서 뚜렷이 뛰어나다는 것이 확인되었다.
• 모델이 올바르게 숫자를 분류하더라도(예: 'nine'), 관련 음성 단서(예: 'i' 발음)가 짧고 미세할 경우, 청각적 설명을 사용할 때 사용자의 예측 정확도가 더 높았다.
• 기준 조건인 원본 음성만 사용했을 때는 가장 낮은 해석 가능성 지표를 기록하여, 설명이 모델의 투명성 확보에 필수적임을 확인했다.
• 연구 결과는 최적의 설명 형식이 입력 모달리티에 따라 달라지며, 인간의 청각적 인지와 일치하는 점을 고려할 때 음성 데이터에 대해서는 청각적 설명이 우월하다는 점을 확인했다.