[논문 리뷰] Transfer learning for music classification and regression tasks

Keunwoo Choi, György Fazekas외 2명|arXiv (Cornell University)|2017. 03. 27.

Music and Audio Processing참고 문헌 50인용 수 125

한 줄 요약

이 논문은 음악 태깅을 위해 사전에 라벨이 부여된 컨볼루션 신경망(pre-labeled convnet)을 학습시키고, 이 신경망의 다중 레이어 특징을 여섯 가지 목표 음악 및 오디오 작업에 전이하여 MFCC 베이스라인보다 우수한 성능과 작업별 방법과 비교해도 경쟁력 있는 결과를 보인다.

ABSTRACT

In this paper, we present a transfer learning approach for music classification and regression tasks. We propose to use a pre-trained convnet feature, a concatenated feature vector using the activations of feature maps of multiple layers in a trained convolutional network. We show how this convnet feature can serve as general-purpose music representation. In the experiments, a convnet is trained for music tagging and then transferred to other music-related classification and regression tasks. The convnet feature outperforms the baseline MFCC feature in all the considered tasks and several previous approaches that are aggregating MFCCs as well as low- and high-level music features.

연구 동기 및 목표

• 음악 정보 검색(MIR)에서 데이터 희소성을 해결하기 위한 전이 학습의 동기를 제시한다.
• 다중 레이어의 활성화를 연결(concatenate)하여 전이를 위한 convnet 특징 추출기를 제안한다.
• 여섯 개의 다양한 음악 및 오디오 과제에 걸쳐 전이된 특징을 평가한다.
• 지식 전이와 아키텍처를 평가하기 위해 convnet 특징을 MFCC 베이스라인 및 무작위 가중치 convnet과 비교한다.

제안 방법

• 멜-스펙트로그램 입력을 사용하여 음악 태깅 원천 과제에서 합성곱 신경망을 학습시킨다.
• 필요한 경우 평균풀링으로 1~5번째 여러 레이어의 활성화를 모아 연결된(convnet) 특징을 추출한다.
• 각 목표 과제에 대해 효과적인 표현을 찾기 위해 여러 레이어 조합 전략(예: 123, 135, 12345)을 평가한다.
• 타깃 과제에 대해 SVM을 사용하여 분류/회귀를 수행하고 분류기 복잡성보다는 특징 품질에 집중한다.
• 여섯 가지 타깃 과제에서 convnet 특징을 MFCC 베이스라인 및 무작위 convnet 특징과 비교한다.

실험 결과

연구 질문

• RQ1 음악 태깅에서 사전에 학습된 convnet가 다양한 MIR 과제를 위한 범용 특징 추출기로 작용할 수 있는가?
• RQ2 각 목표 과제에 대해 가장 효과적인 표현을 제공하는 층별 특징 조합은 무엇인가?
• RQ3 convnet 특징이 MFCC 베이스라인을 능가하는가, 그리고 과제별로 최첨단 방법과는 어떻게 비교되는가?
• RQ4 MFCC 특징을 convnet 특징과 연결하는 것이 이들 과제에 이익이 되는가, 아니면 중복인가?

주요 결과

• convnet 특징은 여섯 가지 타깃 과제 모두에서 MFCC 베이스라인을 능가한다.
• 여러 레이어의 특징을 연결하는 것(예: 12345)이 종종 최고의 성능을 내며, 특히 복잡한 과제에서 그렇다.
• 여러 과제에서 convnet 특징만으로도 수작업 특징이나 과제별 설계에 의존하는 최첨단 접근법에 필적한다.
• 무작위 convnet 특징은 학습된 convnet 특징보다 낮게 나타나며, 이득은 네트워크 구조 자체가 아니라 학습된 전달 지식에서 비롯된다.
• 작업 6(음향 이벤트 탐지)에서는 convnet 특징과 MFCC를 결합하면 성능이 향상되며 보완 정보가 있음을 시사하지만, 다른 과제에서는 MFCC가 큰 가치를 더하지 않는다.