[논문 리뷰] Music theme recognition using CNN and self-attention

Manoj Sukhavasi, Sainath Adapa|arXiv (Cornell University)|2019. 11. 16.

Music and Audio Processing참고 문헌 17인용 수 14

한 줄 요약

이 논문은 모바일넷V2와 자기주의 메커니즘을 조합한 하이브리드 딥러닝 모델을 제안하여 음악 테마 및 분위기 인식을 수행한다. 멜스펙트로그램 특징과 데이터 증강 기법을 활용함으로써, 모델은 MediaEval 2019 PR-AUC-macro 랭킹에서 4위를 기록하였으며, 기준 모델인 VGG-유사 모델을 크게 앞서며 음악 오디오에서 장기적인 시간적 의존성을 포착하는 데 있어 자기주의의 효과성을 입증한다.

ABSTRACT

We present an efficient architecture to detect mood/themes in music tracks on autotagging-moodtheme subset of the MTG-Jamendo dataset. Our approach consists of two blocks, a CNN block based on MobileNetV2 architecture and a self-attention block from Transformer architecture to capture long term temporal characteristics. We show that our proposed model produces a significant improvement over the baseline model. Our model (team name: AMLAG) achieves 4th place on PR-AUC-macro Leaderboard in MediaEval 2019: Emotion and Theme Recognition in Music Using Jamendo.

연구 동기 및 목표

• 딥러닝을 활용해 분위기 및 테마 인식을 위한 자동 음악 태깅을 향상시키기.
• 변동 길이의 음악 트랙에서 장기적인 시간적 의존성을 포착하는 과제 해결하기.
• MTG-Jamendo 데이터셋의 자동태깅-분위기테마 서브셋에서 성능 향상시키기.
• 음악 분류를 위한 모바일넷V2와 자기주의의 조합 효과 평가하기.
• MediaEval 2019 음악의 감정 및 테마 인식 과제에서 최신 기술 수준의 성과 달성하기.

제안 방법

• 입력으로 사전 계산된 멜스펙트로그램을 사용하며, 랜덤 크롭, 스케일링, SpecAugment, Mixup를 통해 정규화 및 증강한다.
• 모바일넷V2 기반 구조를 단일 채널 멜스펙트로그램에 적응시키기 위해 두 개의 합성곱 레이어를 통해 3채널 텐서로 변환한다.
• Transformer 아키텍처를 영감으로 삼은 자기주의 블록을 도입하여 장기적인 시간적 의존성을 포착하며, 위치 인코딩을 사용한 멀티헤드 어텐션을 적용한다.
• 입력을 각각 256개의 시간 스텝을 가진 16개의 세그먼트로 나누고, 각 세그먼트는 모바일넷V2를 거친 후 자기주의 블록에 입력된다.
• 예측 헤드 두 개를 사용한다: 하나는 모바일넷V2 전용이고, 다른 하나는 모바일넷V2 + 자기주의의 조합 결과에서 나온다. 학습 중에는 병합된 손실를 적용한다.
• 조기 정지 전략을 클래스별로 적용하고 학습률 감소 전략을 사용한다. 60 에포크 이후 Adam에서 Nesterov 모멘텀을 사용하는 SGD로 전환하여 일반화 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 모바일넷V2와 같은 경량 CNN 아키텍처가 음악 태깅을 위한 구분 능력을 가진 멜스펙트로그램에서 효과적으로 특징을 추출할 수 있는가?
• RQ2 자기주의 메커니즘을 통합함으로써 음악 오디오에서 장기적인 시간 패턴을 더 잘 모델링할 수 있는가?
• RQ3 모바일넷V2와 자기주의의 조합이 다중 레이블 음악 분위기 및 테마 분류에서 기준 모델 대비 어떻게 성능을 높이는가?
• RQ4 SpecAugment 및 Mixup와 같은 데이터 증강 기법이 이 오디오 태깅 과제에서 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 일부 클래스는 병합 학습에서 향상되지 않는 이유는 무엇이며, 클래스별 학습 전략이 이를 완화할 수 있는가?

주요 결과

• 제안된 모델(MobileNetV2 + 자기주의)은 MediaEval 2019 PR-AUC-macro 랭킹에서 4위를 기록하였으며, 점수는 0.125896을 기록했다.
• 모델은 ROC-AUC-macro를 0.752886으로 향상시켰으며, 기준 모델인 VGG-유사 모델(0.725821) 대비 유의미한 향상이 있었다.
• F-score-macro는 0.182957로 상승하여 기준 모델(0.165694)과 모바일넷V2 전용 모델(0.151891)을 모두 앞섰다.
• 모델은 재현율-macro를 0.39164로 기록하여 기준 모델 대비 모든 클래스에서 양성 레이블의 탐지 능력이 향상됨을 보여주었다.
• 클래스별 조기 정지를 적용함으로써 개별 레이블의 수렴이 향상되었지만, 병합 학습이 여전히 전체적으로 더 효과적이었다.
• 자기주의와 모바일넷V2의 조합은 단독 모바일넷V2나 ResNeXt, OpenL3 기반 모델과 비교해 더 높은 성능을 기록하였다.