[논문 리뷰] Musical Tempo and Key Estimation using Convolutional Neural Networks with Directional Filters

Hendrik Schreiber, Meinard Müller|arXiv (Cornell University)|2019. 03. 26.

Music and Audio Processing참고 문헌 31인용 수 13

한 줄 요약

이 논문은 음악의 템포 및 키 추정에 대해 시간축 또는 주파수축에 맞춰 정렬된 방향성 필터를 가진 컨volutional 신경망(CNN)을 사용하는 것을 제안한다. 시간축 또는 주파수축에 정렬된 필터를 갖는 얕고 작업에 특화된 아키텍처를 설계함으로써, 표준 VGG 스타일의 네트워크와 유사한 성능을 달성하면서도, 혼란 인자에 더 강건하고, 특히 저용량 설정에서 파라미터 수가 적은 성능을 내는 데 성공한다.

ABSTRACT

(Abstract to follow)

연구 동기 및 목표

• 스펙트로그램 축(시간 또는 주파수)에 맞춰 정렬된 방향성 필터가 표준 정사각형 필터보다 음악 템포 및 키 추정 성능을 향상시키는지 조사하기.
• 방향성 필터를 사용하는 얕고 도메인 전용 CNN 아키텍처가 깊고 일반적인 VGG 스타일의 네트워크와 유사한 성능를 달성하면서도 혼란 인자에 덜 민감한지 평가하기.
• 방향성 필터가 특히 저용량 모델에서 모델의 해석 가능성과 효율성을 얼마나 향상시키는지 판단하기.
• 시간축 또는 주파수축에 정렬된 필터(시간적 또는 스펙트럼적)가 리듬 패턴이나 피트 클래스 분포와 같은 작업 전용 음악적 특징을 얼마나 잘 포착하는지 비교하기.
• 방향성 필터링을 통한 아키텍처 특화가 일반적인 모델이 애매한 상관관계(예: 장르-템포 연결)에 의존하는 경향을 줄이는지 평가하기.

제안 방법

• 저자들은 입력으로 일정-Q 크기 스펙트로그램을 사용하며, 차원은 168×60(주파수 × 시간)이며, 7옥타브에 1세미톤당 2개의 빈을 가지며, 시간 프레임당 0.19초이다.
• 두 가지 주요 네트워크 변형을 설계한다: 키 추정을 위한 ShallowSpec(스펙트럼 필터, 1×k)와 템포 추정을 위한 ShallowTemp(시간 필터, k×1)이며, 모두 소형이고 얕은 아키텍처를 갖는다.
• 더 깊은 모델을 위해 DeepSpec 및 DeepTemp를 도입한다. 이들은 각각 1×k 및 k×1 방향성 필터를 사용하는 VGG 스타일의 네트워크이며, 정사각형 필터를 대체하여 축에 특화된 학습을 강제한다.
• 데이터 증강과 클래스 불균형 처리를 위해, 스펙트로그램의 무작위 자르기와 무작위 피치 옮김(±11도)을 사용하여 훈련한다.
• 입력 스펙트로그램에 정규화를 적용한다(영점 평균, 단위 분산)이며, 훈련은 분류 작업을 위해 교차 엔트로피 손실을 사용한다.
• 성능 평가를 위해 두 데이터셋을 사용한다: GTzan Key(24클래스 키 추정)와 Ballroom(256클래스 템포 추정)이며, 주요 평가 지표로 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 시간 또는 주파수에 맞춰 정렬된 방향성 필터를 갖는 얕은 CNN이 음악 템포 및 키 추정에서 표준 VGG 스타일의 네트워크와 유사한 성능를 달성할 수 있는가?
• RQ2 방향성 필터를 사용하면 특히 저용량 모델에서 장르-템포 상관관계와 같은 혼란 인자에 덜 민감해지는가?
• RQ3 정사각형 필터에 비해 방향성 필터는 얼마나 모델 효율성과 해석 가능성 향상에 기여하는가?
• RQ4 네트워크가 설계된 작업 이외의 작업에 적용되었을 때, 아키텍처 특화(예: 시간 필터 대 스펙트럼 필터)는 성능에 어떤 영향을 미치는가?
• RQ5 방향성 필터를 갖는 VGG 스타일의 네트워크가 정사각형 필터 버전과 유사한 성능를 달성하면서도 더 강건한 흉내 상관관계에 저항할 수 있는가?

주요 결과

• 방향성 필터를 갖는 얕은 네트워크(ShallowSpec 및 ShallowTemp)는 파라미터 수가 적음에도 불구하고, 각각의 작업에서 깊은 VGG 스타일의 네트워크와 유사한 성능를 달성한다.
• 정사각형 필터를 사용하는 DeepSquare 아키텍처는 두 작업 모두에서 가장 높은 정확도를 기록했다—Ballroom 템포에서 4.2pp 높고, GTzan Key에서 5.1pp 높았다.
• 저용량 설정에서(k=2일 때 DeepSpec, k=1일 때 DeepSquare), DeepSpec은 DeepSquare를 상당한 격차로 앞서며, 모델 용량이 제한된 상황에서 방향성 필터링이 성능 향상에 기여함을 시사한다.
• DeepSpec 및 DeepTemp는 설계된 작업 이외의 작업에서 성능이 떨어지며, 이는 이들이 의도한 특징(피트 패턴 또는 리듬 패턴)만 학습한다는 가설을 지지한다.
• DeepMod 모듈의 2×2 최대 풀링은 깊은 모델이 의도한 필터 방향을 초월해 일반화할 수 있게 하며, k>2일 경우에 의도하지 않은 작업에서 성능 향상을 이끌어낸다.
• 방향성 필터는 특히 저용량 모델에서 장르-템포 상관관계와 같은 혼란 인자에 대한 모델의 취약성을 줄이며, 표준 VGG 스타일의 네트워크가 오직 오직 오른쪽 방향으로 충분한 용량을 갖지 못할 때 더욱 두드러진다.