[논문 리뷰] audioLIME: Listenable Explanations Using Source Separation

Verena Haunschmid, Ethan Manilow외 1명|arXiv (Cornell University)|2020. 08. 02.

Music and Audio Processing참고 문헌 6인용 수 7

한 줄 요약

audioLIME는 음악 태깅 시스템을 위한 모델에 종속되지 않는 설명 방법으로, 스펙트로그램 영역이 아닌 음원(예: 보컬, 드럼)을 개별적으로 변형하여 听기 가능하고 인지적으로 의미 있는 설명을 생성한다. 이는 스펙트로그램 기반의 기존 방법들(예: SLIME)보다 성능이 뛰어나며, 특히 웨이브포맷 입력에서 뛰어난 성능을 보이며, 설명이 해석 가능하고 인지적으로 타당하다.

ABSTRACT

Deep neural networks (DNNs) are successfully applied in a wide variety of music information retrieval (MIR) tasks but their predictions are usually not interpretable. We propose audioLIME, a method based on Local Interpretable Model-agnostic Explanations (LIME) extended by a musical definition of locality. The perturbations used in LIME are created by switching on/off components extracted by source separation which makes our explanations listenable. We validate audioLIME on two different music tagging systems and show that it produces sensible explanations in situations where a competing method cannot.

연구 동기 및 목표

• 음악 정보 검색(MIR) 작업에서 사용되는 딥 네ural 네트워크(DNN)의 해석 가능성 부족 문제를 해결하기 위해.
• 기존의 LIME 기반 방법들이 스펙트로그램 기반의 변형을 사용하여 청취 가능하거나 인지적으로 의미 없는 결과를 낳는 한계를 극복하기 위해.
• 소스 분리 기반으로 음악적 구조를 유지함으로써 설명이 동시에 해석 가능하고 청취 가능한 방식으로 생성되도록 방법을 개발하기 위해.
• audioLIME가 생성한 설명이 블랙박스 음악 태깅 모델의 의사결정 과정을 정확히 반영하고 있는지 검증하기 위해.
• 스펙트로그램 기반뿐 아니라 특히 웨이브포맷 기반 음악 태깅 모델에 대해서도 이 방법의 효과성을 입증하기 위해.

제안 방법

• audioLIME는 LIME 프레임워크를 확장하여 해석 가능한 특징을 소스 분리된 오디오 구성 요소(예: 피아노, 보컬, 드럼)의 이진(on/off) 상태로 정의한다.
• 오디오를 τ 시간 세그먼트로 분할하여 총 C × τ개의 해석 가능한 구성 요소를 생성함으로써 세분화된 변형이 가능하도록 한다(여기서 C는 소스 수, τ는 시간 프레임 수).
• 변형은 이진 벡터 z′에서 선택된 소스만 혼합함으로써 생성되며, 이는 원본과 유사한 청취 가능성을 유지하는 새로운 오디오 혼합물 z를 생성한다.
• 2^14개의 변형 샘플을 기반으로 L2 정규화를 적용한 선형 서rogate 모델을 학습하여 블랙박스 모델의 예측에 가장 영향을 미치는 소스 구성 요소를 식별한다.
• 이 시스템은 타겟 모델의 입력 표현 방식(웨이브포맷 또는 스펙트로그램)에 관계없이 적용 가능하므로, SampleCNN과 같은 웨이브포맷 기반 모델의 설명도 가능하다.
• 소스 분리는 Spleeter를 사용하며, 설명의 정확성을 평가하기 위해 상위-k개의 선택된 구성 요소를 다시 태거에 입력하여 예측 일致성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 소스 분리 기반의 변형이 음악 태깅 모델에 대해 동시에 해석 가능하고 인지적으로 의미 있는(즉, 청취 가능한) 설명을 생성할 수 있는가?
• RQ2 특히 웨이브포맷 기반 음악 태깅 모델에서 audioLIME가 SLIME보다 더 신뢰할 수 있는 설명을 제공하는가?
• RQ3 audioLIME는 원시 웨이브포맷을 입력으로 사용하는 모델의 예측을 설명할 수 있는가? 이는 이전의 LIME 기반 방법들이 실패한 영역이다.
• RQ4 상위-k개의 구성 요소만을 사용할 경우, audioLIME 설명이 원본 모델의 예측을 어느 정도 유지하는가?
• RQ5 audioLIME가 생성한 설명은 인간의 음악 콘텐츠 인지(예: '여자 보컬리스트' 태그에 대해 보컬을 식별하는 것)와 일치하는가?

주요 결과

• audioLIME는 FCN 및 SampleCNN 모두에서 상위-k 구성 요소만을 사용할 경우 SLIME 및 무작위 기준보다 더 높은 예측 일치도를 달성하였으며, 특히 k=4일 때 최고의 성능을 보였다.
• FCN 모델의 경우, audioLIME는 '여자 보컬리스트' 태그의 핵심 요소로 여성 가수의 분리된 보컬을 정확히 식별하였다.
• 록 음악 태깅 예측에서 audioLIME는 강력한 드럼세트와 왜곡된 기타를 강조하였으며, 이는 록 장르와 인지적으로 일치하는 음악적 요소로써의 타당성을 입증하였다.
• audioLIME는 스펙트로그램 기반의 FCN과 웨이브포맷 기반의 SampleCNN 양쪽 모두에서 SLIME를 능가하여, 입력 표현 방식에 관계없이 모델을 설명할 수 있음을 보여주었다.
• 이전의 LIME 기반 접근 방식이 설명할 수 없었던 원시 웨이브포맷을 사용하는 모델들에 대해서도 audioLIME는 청취 가능한 소스 기반 변형 전략 덕분에 뛰어난 강건성을 보였다.
• 평가 결과, audioLIME의 설명은 정확할 뿐 아니라 인지적으로 타당함을 확인하여, 블랙박스 모델의 의사결정에 대한 신뢰도를 높였다.