[논문 리뷰] Onsets and Frames: Dual-Objective Piano Transcription

Curtis Hawthorne, Erich Elsen외 7명|arXiv (Cornell University)|2017. 10. 30.

Music and Audio Processing참고 문헌 21인용 수 43

한 줄 요약

이 논문은 복합적이고 순환 신경망을 사용하여 피아노 노트 온셋과 프레임 단위 테너처를 동시에 예측하는 双목적 딥러닝 모델을 제안한다. 프레임 단위 예측을 온셋 검출에 조건화함으로써, MAPS 데이터셋에서 온셋을 포함한 노트 F1 스코어가 100% 이상 향상되었으며, 더 표현적인 변환을 위해 상대적 속도 예측까지 확장하였다.

ABSTRACT

We advance the state of the art in polyphonic piano music transcription by using a deep convolutional and recurrent neural network which is trained to jointly predict onsets and frames. Our model predicts pitch onset events and then uses those predictions to condition framewise pitch predictions. During inference, we restrict the predictions from the framewise detector by not allowing a new note to start unless the onset detector also agrees that an onset for that pitch is present in the frame. We focus on improving onsets and offsets together instead of either in isolation as we believe this correlates better with human musical perception. Our approach results in over a 100% relative improvement in note F1 score (with offsets) on the MAPS dataset. Furthermore, we extend the model to predict relative velocities of normalized audio which results in more natural-sounding transcriptions.

연구 동기 및 목표

• 노트 온셋과 프레임 단위 테너처 검출을 함께 모델링하여 다성분 피아노 음악 변환을 향상시키기.
• 이전 방법들이 온셋이나 프레임을 별도로 최적화하는 데서 비롯되는 한계를 해결하여 인간의 청각과 잘 연관되지 않는 문제를 해결하기.
• 노트 지속 시간(오프셋)과 속도 정보를 통합하여 음악적 표현성을 더 잘 포착함으로써 변환 품질을 향상시키기.
• 학습 중에 볼 수 없었던 다양한 녹음 조건(예: 실제 피아노 녹음, Disklavier)에서도 일반화할 수 있는 모델 개발하기.
• 표준 프레임 스코어나 온셋 전용 스코어를 넘어서, 노트 오프셋과 속도 변환에 중점을 둔 더 인지적으로 관련성이 높은 평가 기준 수립하기.

제안 방법

• 딥 컨volution 신경망과 순환 신경망(CNN-RNN)을 학습하여 온셋과 프레임 단위 테너처 활성화를 함께 예측하기.
• 온셋 예측 결과를 조건부 사전 확률로 사용하여 프레임 단위 테너처 검출을 제한함으로써, 새로운 노트가 온셋 없이 시작되지 않도록 보장하기.
• 이중 단계 추론 프로세스를 적용: 먼저 온셋을 예측한 후, 이를 바탕으로 프레임 단위 테너처 출력을 조건화하고 보정하기.
• 각 온셋에 대해 상대적 속도를 예측할 수 있도록 모델을 확장하여, 별도의 헤드를 사용해 동적 강도를 추정하기.
• 시간-주파수 표현(예: 일정-Q 변환)을 입력으로 사용하고, 프레임 수준의 타겟으로 테너처와 온셋 검출을 설정하기.
• 시간적 정렬과 프레임 해상도를 신중히 다루며, 온셋과 프레임 목표를 결합한 공동 손실 함수를 최적화하기.

실험 결과

연구 질문

• RQ1 온셋과 프레임 단위 테너처 검출을 함께 모델링하면 별도 최적화 대비 변환 품질이 크게 향상되는가?
• RQ2 온셋 검출 결과에 기반해 프레임 단위 예측을 조건화하면 더 정확하고 인지적으로 타당한 변환이 가능한가?
• RQ3 노트 오프셋과 속도 정보를 포함함으로써 변환의 인지적 품질이 어느 정도 향상되는가?
• RQ4 특정 도메인에 맞춰 미세조정 없이도 다양한 녹음 환경(예: 합성된 피아노 녹음 대비 실제 피아노 녹음)에서 모델의 일반화 성능은 어떠한가?
• RQ5 더 엄격한 평가 기준(예: 온셋 허용 오차를 좁히고 오프셋 정확도를 강조)이 모델 성능과 비교에 어떤 영향을 미치는가?

주요 결과

• MAPS 데이터셋에서 온셋을 포함한 노트 F1 스코어가 100% 이상 향상되어 이전 최고 성능 방법들을 크게 능가하였다.
• 특정 '근접' 녹음 조건에서 평가할 경우 노트 F1 스코어가 82.29에서 84.34로 상승하였고, 첫 30초만 사용할 경우 86.38로 상승하여 현실적인 테스트 조건에서도 뛰어난 성능을 보였다.
• 저속도 노트(MIDI 속도 < 30)에서는 성능이 열악하여, 특히 실제 녹음에서 연약하거나 조용한 피아노 음을 감지하는 데 한계가 있음을 시사했다.
• 24ms 프레임 해상도로 학습했을 경우 표준 50ms 허용 오차에서 노트 F1 스코어가 49.99로 떨어져, 시간 해상도 민감도와 더러운 타이밍에 대한 과적합 가능성을 보여주었다.
• 학습 중에 볼 수 없었던 데이터에도 잘 일반화되어, Musopen.org의 녹음과 심지어 하프시코드 녹음까지도 성공적으로 변환하여 악기와 장르 변화에 대한 강건성을 입증했다.
• 오디오 예시를 통해 속도 정보가 포함된 경우 더 자연스럽고 정확한 리듬과 동적 표현을 갖춘 변환을 생성함으로써, 출력이 더 인지적으로 표현력 있게 되는 것을 확인했다.