[논문 리뷰] Toward Interpretable Music Tagging with Self-Attention

Minz Won, Sanghyuk Chun외 1명|arXiv (Cornell University)|2019. 06. 12.

Music and Audio Processing참고 문헌 42인용 수 35

한 줄 요약

자기-주의 기반 백엔드를 음악 태깅에 위한 CNN 프런트엔드와 함께 제안하여 경쟁력 있는 결과를 달성하고 해석 가능한 어텐션 시각화를 제공한다.

ABSTRACT

Self-attention is an attention mechanism that learns a representation by relating different positions in the sequence. The transformer, which is a sequence model solely based on self-attention, and its variants achieved state-of-the-art results in many natural language processing tasks. Since music composes its semantics based on the relations between components in sparse positions, adopting the self-attention mechanism to solve music information retrieval (MIR) problems can be beneficial. Hence, we propose a self-attention based deep sequence model for music tagging. The proposed architecture consists of shallow convolutional layers followed by stacked Transformer encoders. Compared to conventional approaches using fully convolutional or recurrent neural networks, our model is more interpretable while reporting competitive results. We validate the performance of our model with the MagnaTagATune and the Million Song Dataset. In addition, we demonstrate the interpretability of the proposed architecture with a heat map visualization.

연구 동기 및 목표

• 로컬 스펙트로-시간 특성 너머의 장기 음악 컨텍스트 모델링 동기를 부여한다.
• 음악 태깅에서 해석 가능성을 높이기 위해 백엔드로서의 자기-주의를 탐구한다.
• 스펙트로그램 기반 프런트엔드와 원시 오디오 프런트엔드를 어텐션 기반 백엔드와 대조한다.
• 어텐션 히트맵과 태그별 기여 맵을 통해 시각적 해석 가능성을 입증한다.

제안 방법

• 두 개의 프런트엔드를 사용한다: 수직/수평 필터를 사용하는 스펙트로그램 기반(Spec) 프런트엔드와 원시 파형 기반(Raw) 프런트엔드.
• 백엔드로는 CNN P( Pons 등으로부터의 스펙트로그램 백엔드), CNN L(샘플 레벨 CNN 백엔드), 그리고 Att(다중 헤드 자기-주의 백엔드)를 사용한다.
• 자체-주의 백엔드 위에 프런트엔드를 통합하여 각 타임-빈 피처가 어텐션의 토큰으로 작용하도록 한다.
• SWATS를 모방한 최적화 방식을 채택: 처음 60 에포크는 ADAM으로, 그 다음 모멘텀을 가진 SGD로 전환하며 검증 AUROC가 가장 좋은 시점에서 전환을 선택한다.
• MTAT(MagnaTagATune)과 MSD(Million Song Dataset)에서 AUROC 및 AUPR 지표로 학습 및 평가한다.

실험 결과

연구 질문

• RQ1 자기-주의 기반 백엔드가 다중 라벨 태깅을 위한 장기 음악 구조를 포착할 수 있는가?
• RQ2 전통적인 RNN/CNN 백엔드를 자기-주의 백엔드로 대체해도 MTAT 및 MSD에서 경쟁력 있는 성능을 유지하는가?
• RQ3 어텐션 시각화가 특정 태그를 지지하는 오디오 영역에 대한 해석 가능한 통찰을 제공하는가?

주요 결과

• Spec 프런트엔드를 가진 Att 백엔드는 MTAT 및 MSD에서 베이스라인과 비교하여 경쟁력 있는 AUROC 및 AUPR 을 달성한다.
• 최적 성능을 위해서는 주의 층 2개, 헤드 8개와 같은 신중한 튜닝이 필요하다.
• 입력 시퀀스를 더 길게 늘리면 약 16.4초 수준에서도 짧은 입력과 비슷한 결과를 내지만 메모리 사용량이 증가한다.
• 어텐션 히트 맵은 모델이 오디오 이벤트 영역에 집중하는 모습을 보이며, 비대상 영역에서도 강한 반응을 보이는 경우가 있다(조용한 태그에서의 반응 포함).
• 태그별 기여도 히트 맵은 특정 태그와 가장 관련이 높은 입력 영역을 식별하는 데 도움을 준다.