[논문 리뷰] Early MFCC And HPCP Fusion for Robust Cover Song Identification

Christopher J. Tralie|arXiv (Cornell University)|2017. 07. 15.

Music and Audio Processing참고 문헌 19인용 수 26

한 줄 요약

이 논문은 유사성 네트워크 융합(SNF)을 사용하여 멜-주파수 체르스터 계수(MFCC), 음성 피치 클래스 프로파일(HPCP), MFCC의 자기유사성 행렬(SSM)을 조합하는 초기 융합 방법을 제안한다. 이는 피치 기반 특징이 실패하는 비조화적 또는 타악기 중심 음악에서도 강건한 커버 곡 식별을 가능하게 한다. 비트에 동기화된 정규화된 특징 블록을 정렬 이전에 융합함으로써, Covers80에서 평균 역수 순위(MRR) 0.87, 새로운 1000곡 기반 벤치마크 데이터셋인 Covers1000에서 MRR 0.904의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

While most schemes for automatic cover song identification have focused on note-based features such as HPCP and chord profiles, a few recent papers surprisingly showed that local self-similarities of MFCC-based features also have classification power for this task. Since MFCC and HPCP capture complementary information, we design an unsupervised algorithm that combines normalized, beat-synchronous blocks of these features using cross-similarity fusion before attempting to locally align a pair of songs. As an added bonus, our scheme naturally incorporates structural information in each song to fill in alignment gaps where both feature sets fail. We show a striking jump in performance over MFCC and HPCP alone, achieving a state of the art mean reciprocal rank of 0.87 on the Covers80 dataset. We also introduce a new medium-sized hand designed benchmark dataset called "Covers 1000," which consists of 395 cliques of cover songs for a total of 1000 songs, and we show that our algorithm achieves an MRR of 0.9 on this dataset for the first correctly identified song in a clique. We provide the precomputed HPCP and MFCC features, as well as beat intervals, for all songs in the Covers 1000 dataset for use in further research.

연구 동기 및 목표

• 피치 기반 특징인 HPCP가 실패하는 비조화적 또는 타악기 중심 음악에서 커버 곡 식별의 도전 과제를 해결한다.
• MFCC 또는 HPCP에만 의존하는 것의 한계를 극복하기 위해, 톤과 조화의 내용을 포괄적으로 캡처할 수 있는 특징의 상호보완성을 활용한다.
• 정렬 이전에 MFCC, HPCP, SSM을 융합하는 새로운 초기 융합 전략을 개발하여 강건성 향상과 정렬 갭 보완을 도모한다.
• 395개 클리크에 걸쳐 1000곡으로 구성된 다양한 신규 벤치마크 데이터셋인 Covers1000을 제작하고 공개하여 향후 커버 곡 식별 연구를 지원한다.
• 초기 융합과 SNF를 사용한 성능이 표준 및 도전적인 데이터셋에서 개별 특징 또는 후기 융합 기법보다 뛰어나다는 것을 입증한다.

제안 방법

• 다양한 템포 비율(60, 120, 180bpm)을 가진 동적 프rogram밍 비트 트래커를 사용하여 각 곡에서 비트에 동기화된 정규화된 MFCC, HPCP, SSM 블록을 추출한다.
• 각 블록 내의 시간적 맥락을 향상시키기 위해 HPCP 특징에 지연 임bedding(비트당 두 개의 윈도우)을 적용한다.
• 자기유사성과 곡 간 유사성 간의 유사성 네트워크 융합(SNF)을 사용하여 통합된 유사성 네트워크를 생성한다.
• 융합된 유사성 네트워크에 대해 Smith-Waterman 알고리즘을 사용하여 局부 정렬을 수행하여 커버 관계를 식별한다.
• 성능 향상을 위해 곡 간 네트워크에서 유사성 점수를 집계하는 후기 융합을 적용한다.
• 공개 재사용을 위해 Covers1000 데이터셋의 모든 1000곡에 대해 MFCC, HPCP, 비트 간격 특징을 사전 계산하고 공개한다.

실험 결과

연구 질문

• RQ1 MFCC, HPCP, SSM의 초기 융합이 개별 특징이나 후기 융합을 넘어서 커버 곡 식별 성능 향상에 기여하는가?
• RQ2 자신의 초기 SNF 융합 방법은 조화가 없는 경우(예: 드럼 솔로)와 같은 도전적인 커버 집합에서 어떻게 성능을 내는가?
• RQ3 자기유사성 행렬에서의 구조적 정보를 통합할 경우, 저신호 영역에서 정렬의 강건성이 얼마나 향상되는가?
• RQ4 새로운 다양하고 수작업으로 구성된 벤치마크 데이터셋인 Covers1000은 커버 곡 식별 시스템의 더 엄격하고 일반화 가능한 평가를 지원할 수 있는가?
• RQ5 서로 보완적인 특징을 융합할 경우, 다양한 음악 스타일과 구조적 복잡성의 데이터셋에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 제안된 초기 융합 방법은 Covers80 데이터셋에서 평균 역수 순위(MRR) 0.87을 달성하였으며, MFCC(0.618)와 HPCP(0.757)만 사용했을 경우보다 뚜렷한 성능 향상을 보였다.
• 신규 Covers1000 데이터셋에서 후기 융합을 적용한 결과 MRR 0.904를 기록하였으며, 초기 융합만으로는 MRR 0.829에 머물렀고, 모든 개별 특징보다도 뛰어난 성능을 보였다.
• 순수한 타악기 드럼 솔로인 프랭크 라파즈의 '더 블랙 페이지' 8곡 클리크에서는 초기 SNF 융합이 평균 정밀도(MAP) 0.98을 기록하였으며, HPCP(0.014)보다 훨씬 뛰어나고, 원본 MFCC(0.97)보다도 높은 성능을 보였다.
• MFCC와 SSM만 융합해도 Covers1000에서 MRR 0.829를 달성하여, SSM이 표준 MFCC 이외의 보완 정보를 제공한다는 점을 입증하였다.
• 초기 융합의 성능 향상은 조화가 없는 음악에서 특히 두드러지며, 이 경우 HPCP는 실패하지만 MFCC와 SSM은 여전히 구조적이고 톤적 패턴을 포착할 수 있다.
• Covers1000의 모든 1000곡에 대해 사전 계산된 MFCC, HPCP, 비트 간격 특징의 공개는 재현 가능성과 음악 유사성 및 구조 분석 분야의 향후 연구를 지원한다.