[논문 리뷰] Robust Joint Alignment Of Multiple Versions Of A Piece Of Music.

Siying Wang, Sebastian Ewert외 1명|arXiv (Cornell University)|2014. 10. 27.

Music and Audio Processing참고 문헌 12인용 수 15

한 줄 요약

이 논문은 마우르카 프로젝트 녹음본에서 상태의 최고 수준의 이원 비교 방법보다 평균 정합 오차를 14% 감소시키고 표준편차를 53% 감소시키며 정합 정확도와 내성성을 향상시키기 위해 다수의 음악 조각 버전을 동시에 다중 비교하는 강력한 공동 정렬 방법을 제안한다. 점진적 정렬 프레임워크에서 크로마 및 온셋 특징을 사용한 다중 척도 DTW를 적용함으로써, 이 방법은 다수의 음악 버전을 공동으로 정렬함으로써 정합 오차의 평균을 14% 감소시키고 표준편차를 53% 감소시킨다.

ABSTRACT

Large music content libraries often comprise multiple versions of a piece of music. To establish a link between different versions, automatic music alignment methods map each position in one version to a corresponding position in another version. Due to the leeway in interpreting a piece, any two versions can differ significantly, for example, in terms of local tempo, articulation, or playing style. For a given pair of versions, these differences can be significant such that even state-of-the-art methods fail to identify a correct alignment. In this paper, we present a novel method that increases the robustness for difficult to align cases. Instead of aligning only pairs of versions as done in previous methods, our method aligns multiple versions in a joint manner. This way, the alignment can be computed by comparing each version not only with one but with several versions, which stabilizes the comparison and leads to an increase in alignment robustness. Using recordings from the Mazurka Project, the alignment error for our proposed method was 14% lower on average compared to a state-of-the-art method, with significantly less outliers (standard deviation 53% lower).

연구 동기 및 목표

• 표현적 연주 변형이 있는 경우, 속도, 발음 방식, 음량의 차이로 인해 이원 비교 정렬 성능이 떨어지는 음악적으로 다양성이 큰 녹음본을 정렬하는 데 도전하는 것.
• 표현적 해석의 변형으로 인해 이원 비교 방법이 실패하는 어려운 케이스에서 정렬의 내성성을 향상시키는 것.
• 동일한 음악 조각의 다수의 버전 간의 재현성과 일관성을 활용하는 확장 가능한 공동 정렬 프레임워크를 개발하는 것.
• 점수 추적, 커버 노래 탐지, 콘텐츠 연결과 같은 음악 정보 검색 작업에서 정렬 정확도를 향상시키는 것.

제안 방법

• 생물정보학에서 유래한 다중 시퀀스 정렬(MSA)을 음악 정렬에 응용하여 동시에 다수의 오디오 버전을 공동 비교할 수 있도록 한다.
• 각 녹음본을 점차 늘어나는 템플릿에 순차적으로 정렬하는 점진적 정렬 전략을 사용한다. 이때 가장 긴 녹음본부터 시작한다.
• 계산 비용을 줄인 효율적인 동적 시간 왜곡(DTW)을 위해 다중 척도 DTW(FastDTW)를 활용한다.
• 피치 콘텐츠를 위해 크로마 특징을 사용하고, 온셋 검출 및 시간 정밀도를 향상시키기 위해 DLNCO(크로마 기반 온셋 지표)를 통합한다.
• 간격 페널티와 스텝 크기 제약 조건을 적용하여 단조롭고 경계에 유효한 정렬을 보장한다.
• 정렬 순서를 길이 기반으로 정렬하여 안정성을 향상시켰다. DTW 비용 기반 정렬 순서와 비교했을 때 성능 차이가 없었지만, 이는 속도와 표현적 매개변수 변형 간의 잠재적 연관성을 시사한다.

실험 결과

연구 질문

• RQ1 표현적 연주 변형이 존재하는 상황에서 다수의 음악 버전을 공동 정렬하면 이원 비교 방법에 비해 내성성이 향상되는가?
• RQ2 정렬 순서(예: 길이 기반 또는 DTW 비용 기반)가 최종 정렬 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 온셋 지표 특징(DLNCO)이 공동 정렬 프레임워크 내에서 정렬 정확도에 어느 정도 기여하는가?
• RQ4 초기 템플릿 생성 후 버전을 반복적으로 재정렬하면 정렬 품질이 향상되는가?
• RQ5 이원 비교가 실패할 경우, 다수의 참조 버전을 사용함으로써 정렬이 얼마나 안정화되는가?

주요 결과

• 제안된 공동 정렬 방법은 마우르카 프로젝트 데이터셋에서 상태의 최고 수준의 이원 비교 방법 대비 평균 정합 오차를 14% 감소시켰다.
• 정합 오차의 표준편차가 53% 감소하여 외곽치 수가 현저히 줄었고, 내성성이 크게 향상됨을 시사한다.
• 크로마 기반 온셋 지표(DLNCO)를 사용함으로써 정합 정확도가 향상되었으며, 이를 비활성화하면 한 예시에서 평균 정합 오차가 59ms에서 80ms로 증가했다.
• 길이 기반 정렬 순서 전략이 DTW 비용 기반 전략보다 우수하거나 동등한 성능을 보였으며, 이는 속도와 표현적 매개변수 변형 간의 잠재적 연관성을 시사한다.
• 반복적 재정렬은 결과를 향상시키지 못했고, 일부 녹음본에 대해서는 정렬 품질이 악화되어 초도 정렬 이후 재처리에 유의미한 이득이 없음을 시사한다.
• 특히 표현적 해석 변형이 높은 어려운 케이스에서 여러 마우르카 녹음본에 걸쳐 일관된 향상이 관찰되었다.