[논문 리뷰] Audio-to-score alignment of piano music using RNN-based automatic music transcription

Taegyun Kwon, Dasaem Jeong외 1명|arXiv (Cornell University)|2017. 11. 13.

Music and Audio Processing참고 문헌 12인용 수 11

한 줄 요약

이 논문은 피아노 음악의 오디오-스코어 정렬 프레임워크를 제안하며, RNN 기반 자동 음악 편집(AMT)을 활용해 학습된 MIDI 수준의 특징—특히 88노트 존재 및 크로마 온셋 예측—을 생성함으로써 정밀한 동적 시간 왜곡(DTW) 정렬을 가능하게 한다. 이 방법은 MAPS 데이터셋에서 평균 온셋 오차가 10ms 미만임을 입증하여, 프레임 수준의 노트 탐지와 시간적으로 정밀한 온셋 특징을 결합함으로써 이전 방법들보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose a framework for audio-to-score alignment on piano performance that employs automatic music transcription (AMT) using neural networks. Even though the AMT result may contain some errors, the note prediction output can be regarded as a learned feature representation that is directly comparable to MIDI note or chroma representation. To this end, we employ two recurrent neural networks that work as the AMT-based feature extractors to the alignment algorithm. One predicts the presence of 88 notes or 12 chroma in frame-level and the other detects note onsets in 12 chroma. We combine the two types of learned features for the audio-to-score alignment. For comparability, we apply dynamic time warping as an alignment algorithm without any additional post-processing. We evaluate the proposed framework on the MAPS dataset and compare it to previous work. The result shows that the alignment framework with the learned features significantly improves the accuracy, achieving less than 10 ms in mean onset error.

연구 동기 및 목표

• 신경망 기반 자동 음악 편집(AMT)을 특징 추출 방법으로 활용하여 피아노 음악의 오디오-스코어 정렬 정확도를 향상시키는 것.
• 시간적으로 정밀도가 떨어지고 설계에 시간이 오래 걸리는 수작업 특징의 한계를 해결하는 것.
• 특히 MIDI 또는 크로마 공간에서의 노트 존재 및 온셋 탐지와 같은 AMT에 의해 생성된 특징이 전통적인 오디오 특징보다 정렬 작업에서 더 우수한 성능을 보일 수 있는지 탐색하는 것.
• 고해상도 시간 정밀도에서 크로마 온셋 특징이 정렬 정밀도 향상에 기여하는 정도, 특히 50ms 이하의 임계값에서의 영향을 평가하는 것.

제안 방법

• 이중 방향 LSTM 기반의 AMT 시스템 두 개를 훈련함: 하나는 프레임당 88노트 또는 12크로마 존재를 이진 예측하기 위한 것이고, 다른 하나는 크로마 공간에서의 노트 온셋 탐지를 위한 것.
• 입력 특징은 로그 압축과 반세도 필터링된 세기 값을 적용한 다중 해상도 스펙트로그램이며, 성능 향상을 위해 일阶 차분 증강 기법을 적용함.
• 최신 기술인 Böck와 Schedl의 AMT 모델을 변형하여 이진 MIDI 출력 및 온셋 탐지에 적합하도록 수정함.
• 두 AMT 시스템에서 유도된 학습된 특징을 연결하여 동적 시간 왜곡(DTW)에 입력으로 사용하여 스코어 MIDI와의 정렬을 수행함.
• 정렬 과정은 후처리 없이 DTW를 그대로 사용하여 이전 연구와의 직접적인 비교를 보장함.
• 크로마 온셋 특징은 DLNCO에서 영감을 얻어 감쇠성과 국소 적응성을 갖추어 온셋 프레임의 긍정적 특징을 강화함.

실험 결과

연구 질문

• RQ1 RNN 기반 AMT 시스템이 피아노 음악의 오디오-스코어 정렬을 위한 효과적이고 학습 가능한 특징 표현을 생성할 수 있는가?
• RQ2 프레임 수준의 노트 존재 특징과 크로마 온셋 탐지 특징을 결합하면 단일 노트 존재 특징 사용 대비 정렬 정확도가 향상되는가?
• RQ3 학습된 온셋 특징의 포함 여부가 특히 50ms 이하의 임계값에서 정렬의 시간 정밀도에 어떤 영향을 미치는가?
• RQ4 제안된 AMT 기반 특징이 STFT나 크로마와 같은 수작업 특징에 비해 얼마나 일반화 능력이 뛰어나며, 다양한 환경에서의 적용 가능성이 있는가?

주요 결과

• 제안된 프레임워크는 평균 온셋 오차가 10ms 미만임을 입증하여 이전 방법들에 비해 정렬 정확도가 크게 향상됨.
• 0ms 오차 임계값(10ms 해상도)에서 52.55%의 온셋이 정확히 정렬되었으며, 10ms 임계값에서는 91.60%로 증가함.
• 크로마 온셋 특징이 포함된 88노트 모델은 중앙값 온셋 오차를 18.69ms에서 5.57ms로 감소시켜 온셋 특징의 핵심적 역할을 입증함.
• 오디오-미디 비교에서 略히 열세를 보였음에도 불구하고, 특히 50ms 이하 고해상도 영역에서 Ewert의 수작업 특징 방법보다 뛰어난 성능을 보임.
• 12크로마 모델은 88노트 모델에 비해 略로 낮은 정확도를 보이며, 정렬 작업에서 노트 수준의 해상도가 더 효과적임을 시사함.
• 실제 음원 녹음물에서도 성공적으로 정렬되었으며, 사운드 재생 결과를 통해 동기화 품질이 확인되어 실용적 적용 가능성을 입증함.