[논문 리뷰] Few-Shot Drum Transcription in Polyphonic Music

Yu Wang, Justin Salamon외 3명|arXiv (Cornell University)|2020. 08. 06.

Music and Audio Processing참고 문헌 29인용 수 9

한 줄 요약

이 논문은 다성분 음악에서 열린 어휘(open-vocabulary) 자동 드럼 편집을 위한 소수의 예시로 학습하는 방법을 제안한다. 합성 데이터셋으로 훈련된 프로토타입 네트워크를 사용하여 추론 시에만 몇 개의 레이블된 예시로 새로운 드럼 사운드를 인식한다. 이 방법은 고정 어휘 설정에서 최신의 지도 학습 모델과 동등하거나 더 뛰어난 성능을 달성하며, 훈련 중에 볼 수 없었던 더 세분화된 악기 유형으로도 효과적으로 일반화된다.

ABSTRACT

Data-driven approaches to automatic drum transcription (ADT) are often limited to a predefined, small vocabulary of percussion instrument classes. Such models cannot recognize out-of-vocabulary classes nor are they able to adapt to finer-grained vocabularies. In this work, we address open vocabulary ADT by introducing few-shot learning to the task. We train a Prototypical Network on a synthetic dataset and evaluate the model on multiple real-world ADT datasets with polyphonic accompaniment. We show that, given just a handful of selected examples at inference time, we can match and in some cases outperform a state-of-the-art supervised ADT approach under a fixed vocabulary setting. At the same time, we show that our model can successfully generalize to finer-grained or extended vocabularies unseen during training, a scenario where supervised approaches cannot operate at all. We provide a detailed analysis of our experimental results, including a breakdown of performance by sound class and by polyphony.

연구 동기 및 목표

• 고정된 작은 어휘에 국한되는 지도 학습 ADT 모델의 한계를 해결한다.
• 훈련 중에 볼 수 없었던 어휘 외 또는 세분화된 타악기 유형에 대한 자동 드럼 편집을 가능하게 한다.
• 추론 시에 각 타겟 악기당 몇 개의 예시 사운드만 필요로 하여 인간 레이블링 노력 최소화.
• 다중 동시 드럼 히트가 존재하는 다성분 음악에 대해 일반화 가능한 소수의 예시 학습 프레임워크 개발.
• 지원 집합 예시의 다성분성(polyphony)이 모델 성능에 미치는 영향을 조사하고, 효과적인 예시 선택 전략을 제안한다.

제안 방법

• 대규모 합성 드럼 데이터셋(Slakh2100)에서 프로토타입 네트워크를 훈련하여 드럼 사운드에 대한 분류 가능한 임베딩을 학습한다.
• 에피소드 훈련을 사용하여 소수의 예시로 분류하는 작업을 시뮬레이션하며, 각 에피소드는 각 클래스당 몇 개의 지원 예제를 포함한다.
• 추론 시, 각 타겟 드럼 사운드를 그 레이블된 예시의 임베딩 평균값으로 프로토타입으로 표현한다.
• 각 오디오 프레임을 각 프로토타입까지의 거리 계산하여 가장 가까운 클래스를 예측 악기로 선택한다.
• 다중 레이블 복잡성 회피를 위해 다성분 음악을 다룰 때는 하나의 악기씩 이진 분류 문제로 편집한다.
• 후처리를 적용하여 온셋 시간를 정밀하게 조정하고, 가능성 점수에서 심벌릭 드럼 편집을 생성한다.

실험 결과

연구 질문

• RQ1 소수의 예시 사운드만으로 각 악기당 성능이 표준 ADT 벤치마크에서 경쟁 가능할 수 있는가?
• RQ2 훈련 데이터에 존재하지 않는 악기 유형(즉, 열린 어휘 일반화)을 편집할 때 모델의 성능은 어떠한가?
• RQ3 지원 집합 예시의 다성분성(즉, 타겟 예시)이 모델이 드럼 이벤트를 정확히 편집하는 능력에 어떤 영향을 미치는가?
• RQ4 고정 어휘 설정에서 최신의 지도 학습 ADT 시스템보다 성능이 뛰어나거나 동등한가?
• RQ5 편집 정확도를 극대화하기 위해 다성분성과 악기 구성 측면에서 최적의 지원 예시 선택 전략은 무엇인가?

주요 결과

• 소수의 예시로 학습된 모델는 고정 어휘 설정에서 표준 벤치마크에서 최신의 지도 학습 ADT 시스템과 동등하거나 뛰어난 성능을 보이며, F-측정치로는 Slakh2100에서 0.66, FMA에서 0.62를 기록한다.
• 모델는 훈련 중에 볼 수 없었던 더 세분화된 악기 유형으로도 효과적으로 일반화된다: 10개 클래스로 훈련하고 3개의 별도로 보존한 클래스로 테스트할 경우 F-측정치가 0.83에 이른다.
• 지원 집합의 다성분성이 질의 오디오와 일치할 때 성능이 가장 높으며, 다성분성이 증가할수록 더 일관된 악기 조합이 나타나기 때문에 F-측정치가 증가한다.
• 다성분성이 불일치할 경우, 질의 오디오보다 지원 집합의 다성분성이 낮을 때 더 나은 성능을 보이며, 이는 고다성분 지원 예시가 모델를 혼란스럽게 만들 수 있음을 시사한다.
• 모델는 원래 훈련 어휘에 포함되지 않은 악기들까지도 강력한 성능을 유지하며, 성공적인 열린 어휘 일반화를 보여준다.
• 결과는 지원 집합의 구성—특히 다성분성과 악기 구성—이 성능에 상당한 영향을 미치며, 추론 시에 정보 기반의 예시 선택이 필수적임을 시사한다.