[논문 리뷰] Audio-to-Score Alignment using Transposition-invariant Features

Andreas Arzt, Stefan Lattner|arXiv (Cornell University)|2018. 07. 19.

Music and Audio Processing참고 문헌 26인용 수 7

한 줄 요약

이 논문은 비지도 학습된 게이팅 오토인코더를 통해 학습한 전치 불변 음성 특징을 제안하여 고전 음악의 오디오-스코어 정렬 성능을 향상시킨다. 이 특징은 국소적 피치 간격 기반이며, 전치되지 않은 데이터에서는 최신 기술 수준의 성능를 달성하고, 전치된 설정에서는 크로마 특징보다 뛰어나 전치 불변성과 한 곡 내 다중 전치에 대한 강건성을 입증한다.

ABSTRACT

Audio-to-score alignment is an important pre-processing step for in-depth analysis of classical music. In this paper, we apply novel transposition-invariant audio features to this task. These low-dimensional features represent local pitch intervals and are learned in an unsupervised fashion by a gated autoencoder. Our results show that the proposed features are indeed fully transposition-invariant and enable accurate alignments between transposed scores and performances. Furthermore, they can even outperform widely used features for audio-to-score alignment on `untransposed data', and thus are a viable and more flexible alternative to well-established features for music alignment and matching.

연구 동기 및 목표

• 현재 방법들이 피치 민감성으로 인해 전치된 음악 스코어에서 오디오-스코어 정렬에 어려움을 겪는 문제를 해결하기 위해.
• 전혀 전치 불변인 새로운 특징 표현을 개발하여 전치에 관계없이 정확도를 유지하기 위해.
• 피아노 및 오케스트라 음악 환경에서 기존의 크로마 기반 특징과의 성능을 평가하기 위해.
• 특히 복잡한 음악적 구간에서 템포 변화에 민감한 전치 불변 특징의 한계를 조사하기 위해.
• 다른 악기 유형과 음악 장르 간의 일반화 능력을 탐색하기 위해.

제안 방법

• 이 방법은 국소적 컨텍스트(n-프레임)와 타겟 프레임 간의 간격 차이를 모델링하여 원시 오디오에서 전치 불변 특징을 학습하는 게이팅 오토인코더(GAE)를 사용한다.
• GAE 아키텍처는 첫 번째 레이어에서 요소별 곱셈을 사용하여 입력 프레임과 타겟 프레임 간의 공분산과 관계 구조를 명시적으로 모델링하며, 잠재 공간에 피치 간격을 인코딩한다.
• 특징은 GAE의 학습된 잠재 표현(매핑 코드)으로 유도되며, 간격의 상대적 인코딩 덕분에 전반적인 피치 이동에 불변성을 유지한다.
• 학습된 특징을 기반으로 동적 시간 왜곡(DTW)을 사용해 오디오-오디오 정렬을 수행하며, MIDI에서 합성한 스코어 오디오를 연주 오디오에 매핑한다.
• 모델은 오디오 데이터에서 지도 학습 없이 무 supervision 방식으로 학습되며, 전치 레이블이나 수동 애너테이션의 필요가 없다.
• 두 가지 변형을 평가: 8G Piano(피아노 녹음본에서 학습) 및 8G Orch(오케스트라 녹음본에서 학습), 양 데이터셋에서 크로마 특징과의 비교를 실시.

실험 결과

연구 질문

• RQ1 게이팅 오토인코더를 통해 학습된 전치 불변 특징이 전치된 음악 스코어 간 정확한 오디오-스코어 정렬을 달성할 수 있는가?
• RQ2 이러한 특징은 전치되지 않은 데이터와 전치된 데이터에서 크로마 기반 특징과 비교해 정렬 정확도가 어떻게 다른가?
• RQ3 이 특징은 한 곡 내에서 다중 전치를 얼마나 잘 처리할 수 있는가?
• RQ4 변동하는 템포와 다양한 톤의 복잡한 오케스트라 음악에서 특징의 성능는 어떠한가?
• RQ5 피아노에서 오케스트라 녹음본으로의 다양한 악기 유형 간 일반화 능력은 어떠한가?

주요 결과

• 제안된 전치 불변 특징은 전치되지 않은 피아노 데이터에서 250ms 이내 오차로 90%의 정확도를 달성하며, 이 설정에서 크로마 특징을 능가한다.
• 전치된 스코어에서는 높은 정확도(250ms 이내 오차로 84%)를 유지하며, 크로마 특징이 각 전치마다 재처리가 필요로 하는 것과는 달리 다중 전치에 강건함을 입증한다.
• 평가에서 모든 전치 수준에서 일관된 성능을 보이며, 피치 전치에 대한 완전한 불변성이 입증되었다.
• 오케스트라 음악에서는 크로마 특징이 8G Piano 및 8G Orch 특징을 모두 능가하며, 특히 마를러의 4번 교향곡에서 두드러진다. 이는 특징이 템포 변화에 민감하기 때문이다.
• 오케스트라 음악에서 학습된 8G Piano 모델이 오케스트라 데이터에서 8G Orch 모델보다 더 잘 일반화됨을 보이며, 다양한 톤 간 강력한 특징 일반화 능력을 시사한다.
• 특징 모델을 테스트 데이터에 과적합시키더라도 성능 향상이 미미하여, 특징이 특정 녹음본에 과적합되지 않고 강건함을 입증한다.