[논문 리뷰] Large-Scale Cover Song Detection in Digital Music Libraries Using Metadata, Lyrics and Audio Features

Albin Andrew Correya, Romain Hennequin외 1명|arXiv (Cornell University)|2018. 08. 30.

Music and Audio Processing참고 문헌 20인용 수 7

한 줄 요약

이 논문은 음악 메타데이터(제목), 가사(위치: MXM 데이터셋), 및 오디오 특징을 결합한 다중모달 접근법을 통해 대규모 커버 곡 탐지 문제를 해결한다. 표준 tf-idf 텍스트 유사도 및 최신 오디오 기반 방법을 사용하며, 오직 오디오 기반 최신 기법 대비 Million Song Dataset에서 평균 평균 정확도(MAP)가 35.5% 절대 증가를 달성한다. 이는 텍스트 기반 특징이 디지털 음악 라이브러리에서 정확도와 확장성 향상에 크게 기여함을 보여준다.

ABSTRACT

Cover song detection is a very relevant task in Music Information Retrieval (MIR) studies and has been mainly addressed using audio-based systems. Despite its potential impact in industrial contexts, low performances and lack of scalability have prevented such systems from being adopted in practice for large applications. In this work, we investigate whether textual music information (such as metadata and lyrics) can be used along with audio for large-scale cover identification problem in a wide digital music library. We benchmark this problem using standard text and state of the art audio similarity measures. Our studies shows that these methods can significantly increase the accuracy and scalability of cover detection systems on Million Song Dataset (MSD) and Second Hand Song (SHS) datasets. By only leveraging standard tf-idf based text similarity measures on song titles and lyrics, we achieved 35.5% of absolute increase in mean average precision compared to the current scalable audio content-based state of the art methods on MSD. These experimental results suggests that new methodologies can be encouraged among researchers to leverage and identify more sophisticated NLP-based techniques to improve current cover song identification systems in digital music libraries with metadata.

연구 동기 및 목표

• 메타데이터와 가사가 오직 오디오 기반 기법을 초월하여 대규모 커버 곡 탐지의 확장성과 정확도를 향상시킬 수 있는지 조사하기.
• 실제 음악 데이터셋에서 텍스트 기반 유사도 측정 방법(tf-idf를 활용한 제목 및 가사)을 최신 오디오 기반 시스템과 비교하여 성능을 평가하기.
• 디지털 음악 라이브러리에서 커버 탐지에 대해 확장 가능한 다중모달 프레임워크 내에서 텍스트 및 오디오 특징을 융합함으로써 성능 향상 여부 평가하기.
• MSD, SHS, MXM과 같은 공개 데이터셋을 활용한 텍스트 기반 커버 곡 탐지에 대해 재현 가능하고 오픈소스 기반의 기준 성능 제공하기.

제안 방법

• 텍스트 특징—곡 제목 및 가사—는 표준 tf-idf 벡터화를 통해 수행되어 트랙 간 의미 유사도를 계산하였다.
• 오디오 특징은 CENS(Chroma Energy Normalized Statistics)를 사용하여 추출되었으며, 유사도 계산을 위해 동적 시간 왜곡(DTW)을 통해 정렬되었다.
• 하이브리드 재정렬 전략이 적용되었으며, 초기 텍스트 기반 결과는 최신 오디오 유사도 방법(Serra et al., 2017)을 사용하여 저거리 이격 임계값(h=0.1)으로 개선되었다.
• 프레임워크는 Million Song Dataset(MSD), Second Hand Song(SHS)의 학습/테스트 세트, 그리고 가사용 MXM 데이터셋에서 평가되었다.
• 오디오 특징의 정확도를 높이기 위해 키 및 템포 변동에 대비한 주요 불변 기법들인 OTI(Optimal Transposition Index) 및 비트 동기화 크로마가 적용되었다.
• 시스템은 쿼리-검색 설정을 사용하였으며, 각 쿼리 곡이 대규모 기준 데이터베이스와 대조되어 순위가 매겨진 커버 후보를 추출하였다.

실험 결과

연구 질문

• RQ1 제목 및 가사와 같은 텍스트 기반 특징이 대규모 커버 곡 탐지 시스템의 정확도를 크게 향상시킬 수 있는가?
• RQ2 대규모 데이터셋에서 tf-idf 기반 텍스트 유사도의 성능이 최신 오디오 기반 방법의 평균 평균 정확도(MAP) 측면에서 어떻게 비교되는가?
• RQ3 텍스트 및 오디오 특징을 융합함으로써 실세계 디지털 음악 라이브러리에서의 확장성과 검색 성능 향상 정도는 어느 정도인가?
• RQ4 텍스트 기반 결과를 오디오 유사도 모델로 재정렬하면 탐지 정확도가 추가로 향상되는가?

주요 결과

• 제목과 MXM 가사만을 사용한 제안된 방법은 기존 오직 오디오 기반 최신 기법 대비 Million Song Dataset에서 평균 평균 정확도(MAP)가 35.5% 절대 증가를 달성하였다.
• SHS 테스트 세트에서 제목과 MXM 가사의 조합은 MAP 0.510을 기록하였으며, 오디오 방법으로 재정렬한 결과 2.1% 향상되었다(h=0.1).
• 사전 처리된 제목(pre-title)을 사용한 결과 원본 제목과 유사한 성능을 기록하여 소규모 제목 변형에 대해 강건함을 보였다.
• MSD-DZR 세트(공식 중복 제외)에서 MAP 0.489를 기록하여 대규모 데이터에서 뛰어난 성능을 입증하였다.
• 이전 오직 오디오 기반 확장 가능한 시스템은 SHS 학습 세트에서 단지 0.28의 MAP를 기록한 바 있어, 텍스트 기반 방법이 더 뛰어난 성능을 보였다.
• 결과는 텍스트 기반 특징이 커버 탐지에 매우 효과적이며, 특히 오디오 데이터가 확보되지 않거나 확장성이 중요한 경우 해석 가능성까지 고려할 수 있음을 시사한다.