[논문 리뷰] Audio Cover Song Identification using Convolutional Neural Network

Sungkyun Chang, Juheon Lee외 2명|arXiv (Cornell University)|2017. 12. 01.

Music and Audio Processing참고 문헌 15인용 수 15

한 줄 요약

이 논문은 커버 노래 관계를 나타내는 의미 있는 패턴을 탐지하기 위해 노래 쌍의 크로스 유사도 행렬을 이미지로 간주하여 CNN 기반 접근법을 제안한다. 이 방법은 기존의 규칙 기반 및 메트릭 학습 방법을 능가하는 최상위 성능을 기록하였으며, MNIT10가 8.04이고 MR1이 2.50이다.

ABSTRACT

In this paper, we propose a new approach to cover song identification using a CNN (convolutional neural network). Most previous studies extract the feature vectors that characterize the cover song relation from a pair of songs and used it to compute the (dis)similarity between the two songs. Based on the observation that there is a meaningful pattern between cover songs and that this can be learned, we have reformulated the cover song identification problem in a machine learning framework. To do this, we first build the CNN using as an input a cross-similarity matrix generated from a pair of songs. We then construct the data set composed of cover song pairs and non-cover song pairs, which are used as positive and negative training samples, respectively. The trained CNN outputs the probability of being in the cover song relation given a cross-similarity matrix generated from any two pieces of music and identifies the cover song by ranking on the probability. Experimental results show that the proposed algorithm achieves performance better than or comparable to the state-of-the-art.

연구 동기 및 목표

• 노래 쌍 간의 크로스 유사도 행렬 내 구조적 패턴을 모델링하여 오디오 커버 노래 식별 성능을 향상시키기.
• 기존의 특징 기반 및 거리 메트릭 방법의 한계를 극복하기 위해 딥러닝을 활용해 엔드 투 엔드 패턴 인식을 실현하기.
• 크로스 유사도 행렬에 CNN을 적용하여 커버 노래 식별을 이미지 분류 작업으로 재정의하기.
• 기존의 규칙 기반 및 메트릭 학습 접근법보다 더 높은 정확도와 더 나은 랭킹 성능 달성하기.
• 다양한 노래 길이에 비추어, 단지 첫 180초 간의 정보만으로도 효과적인 커버 탐지가 가능한지 탐색하기.

제안 방법

• 두 곡의 12차원 크로마 특징을 키 정렬 유사도 거리로 계산하여 크로스 유사도 행렬 S를 구성하고, max(Δ)로 정규화한다.
• 각 곡의 첫 180초만 사용하고, 짧은 트랙은 0 패딩을 적용하여 입력 길이를 표준화한다.
• 균형 잡힌 커버 및 비커버 노래 행렬 쌍을 대상으로 배치 정규화와 두 개의 드롭아웃 레이어(p=0.5, q=0.5)를 적용한 12층 CNN을 훈련한다.
• 수렴을 향상시키기 위해 훈련 전에 특징 스케일링을 위해 평균 0, 표준편차 1 정규화를 수행한다.
• CNN의 소프트맥스 출력을 활용해 후보 곡을 랭킹하고, 예측된 커버 유사도 기반으로 상위-N 커버를 선별한다.
• 교차 엔트로피 손실가 10^-4 이하로 수렴할 경우 조기 정지 기법과 함께 겹침 그리드 서치를 통해 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 CNN이 크로스 유사도 행렬 내 분류 가능한 패턴을 효과적으로 학습하여 커버 노래 관계를 식별할 수 있는가?
• RQ2 전체 길이 분석과 비교해, 노래의 첫 180초만으로도 정확한 커버 탐지에 충분한 정보를 확보할 수 있는가?
• RQ3 제안된 CNN 기반 방법은 규칙 기반(예: SimPLe) 및 메트릭 학습 기반 접근법과 비교해 성능가 어떻게 되는가?
• RQ4 수작업 특징이나 복잡한 임bedding 기법에 의존하지 않고도, 모델이 새로운 커버 버전에 잘 일반화될 수 있는가?
• RQ5 드롭아웃 및 배치 정규화와 같은 아키텍처 선택이 모델 일반화 및 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 CNN은 MNIT10가 8.04를 기록하여, 평균적으로 상위 10개 후보 중 8.04개가 정확한 커버 곡이었다.
• 모델은 MAP가 0.84를 기록하여, 베이스라인인 SimPLe 방법(0.66)과 메트릭 학습 강화 버전(0.81)을 크게 앞섰다.
• MR1는 2.50이었으며, 이는 평균적으로 첫 번째 정확한 커버가 상위 2.5위에 위치함을 의미한다—두 번째로 우수한 방법(SimPLe, MR1=5.6)보다 80.1% 높은 성능이다.
• 최적의 하이퍼파라미터(p=0.5, q=0.5) 설정 시 검증 정확도가 83.4%에 도달하여 검증 세트에서 강력한 일반화 성능을 보였다.
• 첫 180초만 사용했음에도 불구하고, 전체 음성 입력을 사용한 시스템보다 성능이 뛰어났다.
• 두 번째로 우수한 방법(Heo 등, 2017)에 비해 성능 향상이 가장 두드러진 영역은 랭킹 품질(MR1)이었으며, 이는 상위-k 검색의 신뢰도 향상을 시사한다.