[논문 리뷰] Automatic tagging using deep convolutional neural networks

Keunwoo Choi, George Fazekas외 1명|arXiv (Cornell University)|2016. 06. 01.

Multimodal Machine Learning Applications참고 문헌 18인용 수 221

한 줄 요약

이 논문은 2D 합성곱을 사용하는 FCN으로 콘텐츠 기반 자동 음악 태깅을 수행하며 멜-스펙트로그램 입력이 최첨단 결과를 나타내고 더 깊은 모델이 더 많은 데이터의 이점을 얻는다는 것을 보여준다.

ABSTRACT

We present a content-based automatic music tagging algorithm using fully convolutional neural networks (FCNs). We evaluate different architectures consisting of 2D convolutional layers and subsampling layers only. In the experiments, we measure the AUC-ROC scores of the architectures with different complexities and input types using the MagnaTagATune dataset, where a 4-layer architecture shows state-of-the-art performance with mel-spectrogram input. Furthermore, we evaluated the performances of the architectures with varying the number of layers on a larger dataset (Million Song Dataset), and found that deeper models outperformed the 4-layer architecture. The experiments show that mel-spectrogram is an effective time-frequency representation for automatic tagging and that more complex models benefit from more training data.

연구 동기 및 목표

• 완전 연결 계층 없이도 다중 라벨 음악 태깅을 수행할 수 있는 완전 합성곱 신경망(FCN)을 시연한다.
• 태깅 성능을 위한 입력 표현(멜-스펙트로그램, STFT, MFCC)을 평가한다.
• 다양한 데이터셋에서 모델 깊이(3~7층)가 성능에 미치는 영향을 평가한다.
• 태깅 자동화에 대해 멜-스펙트로그램이 다른 표현보다 우수한지 보여준다.
• 학습 데이터 규모가 더 깊은 아키텍처의 이점을 어떻게 변화시키는지 조사한다.

제안 방법

• 최대풀링이 결합된 3~7개의 합성곱 층으로 구성된 완전 합성곱 네트워크를 사용하여 50 차원의 태그 벡터를 생성한다.
• 입력 표현에는 멜-스펙트로그램, STFT, MFCC가 포함되며 태깅에는 멜-스펙트로그램이 선호된다.
• 다중 라벨 데이터를 처리하기 위해 시그모이드 출력과 이진 크로스 엔트로피 손실로 학습한다.
• 수렴을 개선하고 과적합을 방지하기 위해 배치 정규화와 드롭아웃을 적용한다.
• 아키텍처를 MagnaTagATune(50개 태그)과 Million Song Dataset(상위 50개 태그)에서 평가하고 성능 지표로 AUC를 사용한다.
• 로컬 시간-주파수 구조를 포착하고 클립 전체에 걸친 비선형 합성을 위해 2D 합성곱을 참조한다.

실험 결과

연구 질문

• RQ1 FCN 기반 아키텍처가 서로 다른 입력 표현에서 자동 음악 태깅에서 어떻게 수행되는가?
• RQ2 더 깊은 네트워크 깊이가 태깅 성능을 향상시키는가, 이것이 학습 데이터의 규모에 의존하는가?
• RQ3 멜-스펙트로그램 입력이 FCN을 사용한 자동 태깅에서 STFT나 MFCC보다 우수한가?
• RQ4 모델 깊이가 데이터세트 규모(MagnaTagATune 대 MSD)와 다중 라벨 태깅 성능의 상호작용은 어떻게 되는가?

주요 결과

Architecture	Input	AUC
FCN-3	mel-spectrogram	0.852
FCN-4	mel-spectrogram	0.894
FCN-5	mel-spectrogram	0.890
FCN-4	STFT	0.846
FCN-4	MFCC	0.862
FCN-3	mel-spectrogram	0.786
FCN-4	mel-spectrogram	0.808
FCN-5	mel-spectrogram	0.848
FCN-6	mel-spectrogram	0.851
FCN-7	mel-spectrogram	0.845

• MagnaTagATune에서 멜-스펙트로그램 입력을 활용한 FCN-4가 AUC 0.894를 달성하며 여러 선행 방법을 능가한다.
• MagnaTagATune에서 태깅 작업에 대해 멜-스펙트로그램 입력이 STFT 및 MFCC 입력보다 일관되게 우수하다.
• 더 깊은 아키텍처(FCN-5)는 MagnaTagATune에서 FCN-4에 비해 미미한 이득을 보여 데이터가 제한적일수록 수익이 감소함을 시사한다.
• Million Song Dataset에서 더 깊은 모델(FCN-5, FCN-6, FCN-7)이 FCN-4를 크게 능가하여 더 큰 데이터셋이 더 깊은 네트워크의 이점을 가져다 준다.
• FCN-6가 MSD에서 최상의 성능(AUC 0.851)을 달성하는 반면 FCN-7은 이 설정에서 FCN-6보다 약간 낮은 성능을 보인다.
• 전반적으로 더 깊은 모델은 더 많은 학습 데이터의 이점을 얻고, 멜-스펙트로그램은 자동 태깅에 효과적인 시간-주파수 표현이다.