[논문 리뷰] One Deep Music Representation to Rule Them All? : A comparative analysis of different representation learning strategies

Jaehun Kim, Julián Urbano외 2명|arXiv (Cornell University)|2018. 02. 12.

Music and Audio Processing참고 문헌 63인용 수 5

한 줄 요약

이 논문은 다양한 학습 소스와 아키텍처를 활용해 425개의 모델을 훈련함으로써 음악 표현 학습을 위한 다중 작업 딥 전이 학습을 조사한다. 학습 소스의 수를 늘릴수록 표현의 효과성이 향상되며, 아키텍처 공유를 최소화하는 것(예: MS-CR@2)이 고도로 공유된 설계보다 뛰어난 성능을 내는 것으로 나타나, 분리된, 소스별 특징 학습이 음악 표현 학습에서 일반화 능력을 향상시킨다는 것을 시사한다.

ABSTRACT

Inspired by the success of deploying deep learning in the fields of Computer Vision and Natural Language Processing, this learning paradigm has also found its way into the field of Music Information Retrieval. In order to benefit from deep learning in an effective, but also efficient manner, deep transfer learning has become a common approach. In this approach, it is possible to reuse the output of a pre-trained neural network as the basis for a new learning task. The underlying hypothesis is that if the initial and new learning tasks show commonalities and are applied to the same type of input data (e.g. music audio), the generated deep representation of the data is also informative for the new task. Since, however, most of the networks used to generate deep representations are trained using a single initial learning source, their representation is unlikely to be informative for all possible future tasks. In this paper, we present the results of our investigation of what are the most important factors to generate deep representations for the data and learning tasks in the music domain. We conducted this investigation via an extensive empirical study that involves multiple learning sources, as well as multiple deep learning architectures with varying levels of information sharing between sources, in order to learn music representations. We then validate these representations considering multiple target datasets for evaluation. The results of our experiments yield several insights on how to approach the design of methods for learning widely deployable deep data representations in the music domain.

연구 동기 및 목표

• 다양한 학습 소스 조합이 딥 음악 표현의 질에 미치는 영향을 조사하는 것.
• 다양한 음악 작업을 통해 아키텍처 공유의 정도가 표현 성능에 미치는 영향을 평가하는 것.
• 음악 정보 검색 분야에서 일반적으로 사용 가능한, 동시에 의미적으로 해석 가능한 딥 표현을 학습하는 전략을 규명하는 것.
• 다양한 음악 작업에 널리 적용 가능한 단일 표현을 만들 수 있는지의 타당성을 탐색하는 것.
• 효과적이고 이식 가능한 음악 표현 모델을 설계하는 데 있어 경험적 통찰을 제공하는 것.

제안 방법

• 저자들은 장르, BPM, 오디오 기반 작업 등 다양한 학습 소스 조합을 가진 425개의 딥 신경망 모델을 훈련시켰다.
• 완전히 공유된(예: MS-SR@FC)부터 최소한의 공유가 이루어진(예: MS-CR@2)까지 다양한 정도의 파rameter 공유를 가진 여러 아키텍처를 활용했다.
• 각 모델은 다중 작업 딥 전이 학습(MTDTL) 프레임워크를 사용해 다수의 음악 관련 작업을 사전 훈련하였다.
• 표현 효과성은 Ballroom, GTZAN 등 여러 후행 데이터셋에서 평가되었다.
• 최종 완전 연결 층에서 예측된 주요 주제를 분석함으로써 의미적 해석 가능성은 탐색되었으며, 이는 학습된 특징이 인간이 이해할 수 있는 음악 개념과 연결됨을 보여주었다.
• 모델들은 엔드 투 엔드 백프로파게이션과 교차 엔트로피 손실을 사용해 훈련되었으며, 성능은 목표 작업에서의 상위 1위 정확도와 mAP로 측정되었다.

실험 결과

연구 질문

• RQ1 학습 소스의 수와 조합이 딥 음악 표현의 효과성에 어떻게 영향을 미치는가?
• RQ2 아키텍처 공유 정도가 학습된 표현의 성능에 어떻게 영향을 미치는가?
• RQ3 단일 딥 표현이 다양한 음악 작업에 효과적으로 작용할 수 있으며, 어떤 조건에서 그러한 작용이 가능한가?
• RQ4 원래의 학습 소스를 활용해 학습된 표현을 얼마나 의미적으로 해석할 수 있는가?
• RQ5 단일 소스 사전 훈련에서의 표현과 다중 소스, 다중 작업 사전 훈련에서의 표현은 어떻게 비교되는가?

주요 결과

• 학습 소스의 수를 늘일수록 더 효과적인 딥 음악 표현을 얻을 수 있었으며, 다중 소스 모델이 단일 소스 기반 모델보다 뛰어난 성능을 보였다.
• 최소한의 아키텍처 공유를 가진 모델들, 예를 들어 MS-CR@2와 MSS-CR는 가장 높은 성능을 기록하여, 파라미터 공유를 줄일수록 표현 품질이 향상됨을 시사한다.
• 완전히 공유된 아키텍처인 MS-SR@FC와 MS-CR@6는 공유 정도가 낮은 모델들보다 성능이 열 劣하므로, 정보 공유가 과도할 경우 작업별 특징 학습을 제한해 악영향을 줄 수 있음을 시사한다.
• 단일 소스로 사전 훈련된 기본 모델(SS-R)은 BPM 추정 및 Ballroom 장르 분류와 같은 전문화된 작업에서도 강력한 성능을 기록했다.
• 모델의 최종 완전 연결 층은 인간이 이해할 수 있는 음악 요소와 연결된 의미 있는 주제 분포를 예측할 수 있어, 의미적 해석 가능성 잠재력을 보였다.
• 이 연구는 다중 작업 딥 전이 학습이 효과적이고 일반적인 표현을 생성할 수 있음을 입증했지만, 성능는 아키텍처 설계와 소스 선택에 매우 민감함을 보였다.