[논문 리뷰] Improving Perceptual Quality of Drum Transcription with the Expanded Groove MIDI Dataset

Lee Callender, Curtis Hawthorne외 1명|arXiv (Cornell University)|2020. 04. 01.

Music and Audio Processing참고 문헌 25인용 수 14

한 줄 요약

이 논문은 444시간 분량의 인간이 연주한 드럼 테이프 데이터셋인 확장된 그루브 MIDI 데이터셋(E-GMD)을 소개하며, 이 데이터셋을 사용해 타이밍과 속도를 함께 예측하는 모델을 훈련시켜 드럼 텍스트의 청취적 품질을 향상시킨다. 유사한 분류 지표를 보일지라도 听음 테스트 결과, 속도를 고려한 생성 방식이 청취 품질을 크게 향상시키는 것으로 나타났으며, 이는 기존 표준 지표가 최종 청취 성능을 충분히 반영하지 못함을 보여준다.

ABSTRACT

We introduce the Expanded Groove MIDI dataset (E-GMD), an automatic drum transcription (ADT) dataset that contains 444 hours of audio from 43 drum kits, making it an order of magnitude larger than similar datasets, and the first with human-performed velocity annotations. We use E-GMD to optimize classifiers for use in downstream generation by predicting expressive dynamics (velocity) and show with listening tests that they produce outputs with improved perceptual quality, despite similar results on classification metrics. Via the listening tests, we argue that standard classifier metrics, such as accuracy and F-measure score, are insufficient proxies of performance in downstream tasks because they do not fully align with the perceptual quality of generated outputs.

연구 동기 및 목표

• 표현적인 드럼 텍스트를 제한하는, 속도 정보가 포함된 대규모 인간 연주 드럼 데이터셋의 부족 문제를 해결하기 위해.
• 타이밍 예측 외에 속도 예측까지 추가할 경우, 재생된 드럼 오디오의 청취적 품질이 향상되는지 조사하기 위해.
• 표준 분류 지표(예: F-measure)가 최종 오디오 생성 작업에서 청취 성능을 충분히 대체할 수 있다는 가정을 도전하기 위해.
• E-GMD를 기반으로 훈련된 딥러닝 모델을 개발하고 평가하여, 타이밍, 드럼 종류, 속도를 동시에 예측함으로써 오디오의 현실감을 향상시키기 위해.
• 특히 분류 지표가 청취 품질을 예측하지 못할 때 청취 테스트의 가치를 입증하기 위해.

제안 방법

• 43대의 실제 드럼 킷으로부터 444시간의 오디오를 포함한 확장된 그루브 MIDI 데이터셋(E-GMD)을 도입하였으며, 각 타격에 대해 인간이 타이밍과 속도를 수동으로 주석 처리하였다.
• OaF-Drums라는 딥러닝 모델을 훈련시었으며, 타이밍과 속도 외에도 드럼 종류를 예측할 수 있도록 별도의 속도 예측 헤드를 도입하였다.
• 대규모 E-GMD 데이터셋에서 과적합을 방지하기 위해 새로운 방식의 셔플드 믹스업 데이터 증강 전략을 적용하였다.
• FluidSynth와 General MIDI SoundFont를 사용하여 모델 출력을 합성하였으며, 예측된 타격과 속도를 표준 드럼 샘플로 매핑하여 일관된 오디오 렌더링을 구현하였다.
• 496개의 오디오 클립을 대상으로 한 대규모 청취 테스트를 실시하여, 속도 예측 기능이 있는 모델과 없는 모델의 출력을 쌍별 선호도 평가 방식으로 비교하였다.
• 청취 테스트 결과의 청취적 차이가 통계적으로 유의미한지 확인하기 위해 크루스칼-월리스 H 검정과 윌코크슨 부호순위 검정을 사용하였으며, 보너페리 조정을 적용하였다.

실험 결과

연구 질문

• RQ1 분류 지표가 유사할지라도, 타이밍 외에 속도까지 예측할 경우 청취적 품질이 향상되는가?
• RQ2 F-measure와 같은 표준 분류 지표가 오디오 생성 작업에서 청취 품질을 대체로 잘 반영하지 못하는 정도는 어느 정도인가?
• RQ3 대규모 데이터셋에 인간이 주석 처리한 속도 정보를 포함시킬 경우, 재생된 드럼 연주가 얼마나 더 현실감 있게 향상되는가?
• RQ4 셔플드 믹스업과 같은 데이터 증강 기법이 대규모이고 다양한 드럼 데이터셋으로 훈련된 모델에 효과적으로 정규화를 줄 수 있는가?
• RQ5 속도 예측 기능이 있는 드럼 텍스트와 속도를 일정 값으로 고정한 경우 사이에 통계적으로 유의미한 청취적 차이가 존재하는가?

주요 결과

• E-GMD를 기반으로 훈련된 OaF-Drums 모델은 쌍별 청취 비교에서 919번 승리를 거머쥐었으며, 속도 예측 기능이 없는 모델보다 유의미하게 뛰어난 성능을 보였다.
• 속도 예측 기능이 있는 모델은 2,976개의 쌍별 비교 중 919번을 승리했고, 속도를 일정 값으로 고정한 모델는 456번 뿐이었으며, 이는 뚜렷한 청취적 우위를 보여주었다.
• 크루스칼-월리스 H 검정을 통해 모델 간 유의미한 차이가 확인되었으며 (χ²(2) = 559.19, p < 0.001), 사후 검정 결과 모든 쌍별 차이가 유의미했다 (p < 0.001/6).
• 유사한 분류 지표(예: F-measure)를 기록했음에도 불구하고, 속도 인식 모델은 훨씬 뛰어난 청취 품질의 텍스트를 생성하였으며, 이는 표준 지표와 인간 청취 간의 괴리가 있음을 보여준다.
• 444시간 분량의 인간 연주 오디오와 속도 주석이 포함된 E-GMD 데이터셋은 이전 데이터셋보다 약 10배 크며, 이러한 주석을 포함한 첫 번째 데이터셋이다.
• 셔플드 믹스업 데이터 증강 전략은 대규모 E-GMD 데이터셋에서 과적합을 효과적으로 줄이고 모델의 일반화 능력을 향상시켰다.