[논문 리뷰] Explaining Deep Convolutional Neural Networks on Music Classification

Keunwoo Choi, George Fazekas외 1명|arXiv (Cornell University)|2016. 07. 08.

Music and Audio Processing참고 문헌 2인용 수 32

한 줄 요약

이 논문은 음악 분류 작업에서 깊이 있는 합성곱 신경망(CNN)의 특징을 해석하기 위해, 복소스펙트로그램에서 복소스펙트로그램을 복원하여 청취 가능한 오디오 신호로 재구성함으로써 CNN의 청각화를 제안한다. 청취 가능한 재구성 신호를 분석하고 특징 간 상관관계를 분석함으로써, 더 깊은 층에서는 단순한 형태가 아니라 강건하고 추상적인 텍스처를 학습하며, 층을 거치면서 음정, 코드, 악기의 변화에 점점 더 불변해지는 특징을 학습하는 것으로 드러났다.

ABSTRACT

Deep convolutional neural networks (CNNs) have been actively adopted in the field of music information retrieval, e.g. genre classification, mood detection, and chord recognition. However, the process of learning and prediction is little understood, particularly when it is applied to spectrograms. We introduce auralisation of a CNN to understand its underlying mechanism, which is based on a deconvolution procedure introduced in [2]. Auralisation of a CNN is converting the learned convolutional features that are obtained from deconvolution into audio signals. In the experiments and discussions, we explain trained features of a 5-layer CNN based on the deconvolved spectrograms and auralised signals. The pairwise correlations per layers with varying different musical attributes are also investigated to understand the evolution of the learnt features. It is shown that in the deep layers, the features are learnt to capture textures, the patterns of continuous distributions, rather than shapes of lines.

연구 동기 및 목표

• 음악 장르 분류 작업에서 스펙트로그램에 적용된 깊이 있는 CNN이 어떻게 표현을 학습하는지 이해하기 위해.
• 장르 및 분위기 분류와 같은 주관적인 음악 작업에서 CNN의 해석 불가능성 문제를 해결하기 위해.
• 학습된 특징을 청취 가능한 신호로 복원함으로써, 기존의 복소스펙트로그램 기반 시각화를 넘어서 직관적인 이해를 가능하게 하기 위해.
• 음악적 속성에 대한 반응으로 네트워크 층 간 특징 표현의 변화를 분석하기 위해.
• 학습된 특징이 음정, 코드, 악기의 변화에 대해 얼마나 강건한지 평가하기 위해.

제안 방법

• 5층의 CNN에서 각 층의 특징 맵에서 복소스펙트로그램을 복원하기 위해 복소스펙트로그램을 적용함.
• 복소스펙트로그램에 대해 역방향 STFT(단기 푸리에 변환)를 수행하여 시간 도메인 오디오 신호를 재구성함으로써 청각화를 가능하게 함.
• 악기, 코드 유형, 음정에 대한 제어된 변화를 가진 모델 신호를 사용하여 특징 반응을 체계적으로 탐색함.
• 다양한 음악적 속성 조건에서 특징 활성화 간의 쌍별 상관관계를 계산하여 강건성 평가함.
• 복소스펙트로그램과 청각화된 오디오를 시각화하고 해석하여 학습된 필터에 음악적 의미를 부여함.
• 저수준 패턴(선, 선형)에서 고수준의 텍스처와 화성-리듬적 구조로의 특징의 진화를 분석함.

실험 결과

연구 질문

• RQ1 음악 분류 작업에서 CNN이 학습한 특징들이 네트워크 층을 거치며 어떻게 진화하는가?
• RQ2 학습된 특징이 음정, 코드 유형, 악기의 변화에 얼마나 강건한가?
• RQ3 복소스펙트로그램을 복원한 특징의 청각화는 단순한 스펙트로그램 시각화보다 더 직관적인 이해를 제공하는가?
• RQ4 더 깊은 층의 필터들이 어떤 음악적 구조에 반응하는가?
• RQ5 최종 층의 고수준 특징들이 특정한 형태나 주파수보다 추상적이고 불변하는 패턴을 나타내는가?

주요 결과

• 더 깊은 층에서는 이산적인 형태나 윤곽선보다는 연속적인 텍스처와 화성-리듬적 패턴을 탐지하도록 필터가 학습된다.
• 특징 반응은 음정 변화에 점점 더 강건해지며, Layer 5에서 가장 높은 상관관계를 보여 전치에 대한 불변성을 시사한다.
• 초기 층(1층)에서는 악기 변화에 가장 민감하지만, 더 깊은 층으로 갈수록 강건성이 증가하여 Layer 5에서는 악기 변화에 대한 강건성이 코드 변화 수준에 도달한다.
• 코드 유형 변화는 1층에서 가장 강한 영향을 미치지만, 더 깊은 층으로 갈수록 다양한 코드 유형 간 특징 반응의 상관관계가 증가하여 점점 더 불변성이 증가함을 보여준다.
• 특징 5-56는 겹치는 강한 타악기 요소와 화성 패턴에 특별히 반응하여, 특정 장르 관련 텍스처를 포착하고 있음을 시사한다.
• 청각화 과정을 통해 필터의 직접적 청각적 해석이 가능해졌으며, 이로써 고수준 특징이 단순한 스펙트럼 형태가 아니라 복잡하고 추상적인 음악적 텍스처에 해당함을 드러냈다.