[논문 리뷰] Frame-level Instrument Recognition by Timbre and Pitch

Yun-Ning Hung, Yi‐Hsuan Yang|arXiv (Cornell University)|2018. 09. 23.

Music and Audio Processing참고 문헌 32인용 수 4

한 줄 요약

이 논문은 timbre와 pitch 특징을 사용하여 다중 악기 음악에서 프레임 단위의 악기 식별을 위한 컨볼루션 신경망을 제안한다. 이 작업은 프레임 단위의 레이블을 갖는 다중 레이블 분류 문제로 간주한다. pitch 정보를 통합함으로써 모델이 음정 부분의 에너지 동역학을 학습할 수 있게 되어, MusicNet 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Instrument recognition is a fundamental task in music information retrieval, yet little has been done to predict the presence of instruments in multi-instrument music for each time frame. This task is important for not only automatic transcription but also many retrieval problems. In this paper, we use the newly released MusicNet dataset to study this front, by building and evaluating a convolutional neural network for making frame-level instrument prediction. We consider it as a multi-label classification problem for each frame and use frame-level annotations as the supervisory signal in training the network. Moreover, we experiment with different ways to incorporate pitch information to our model, with the premise that doing so informs the model the notes that are active per frame, and also encourages the model to learn relative rates of energy buildup in the harmonic partials of different instruments. Experiments show salient performance improvement over baseline methods. We also report an analysis probing how pitch information helps the instrument prediction task. Code and experiment details can be found at https://biboamy. github.io/instrument-recognition/.

연구 동기 및 목표

• 자동 음악 변환과 검색을 위한 핵심 요소인 다중 악기 음악에서의 프레임 단위 악기 식별 부족을 해결하기 위해.
• 프레임 단위의 레이블을 활용하여 각 시간 프레임에서 악기 존재 여부를 다중 레이블 분류 문제로 모델링하기 위해.
• pitch 정보가 활성 음정과 음정 에너지 동역학을 드러내어 악기 식별에 어떻게 기여하는지 조사하기 위해.
• pitch 통합이 모델 성능과 해석 가능성에 미치는 영향을 평가하기 위해.

제안 방법

• MusicNet 데이터셋의 프레임 단위 레이블을 지도 신호로 사용하여 다중 레이블 분류를 위한 컨볼루션 신경망을 학습한다.
• 프레임 단위의 오디오에서 멜 스펙트로그램과 같은 스펙트럼 표현을 사용하여 timbre 특징을 추출한다.
• 각 프레임의 활성 음정을 하나의 one-hot 인코딩 벡터 또는 임베딩 표현으로 조건화하여 모델에 pitch 정보를 통합한다.
• pitch 조건부 특징에 주의를 기울임으로써 모델은 음정 부분의 상대적 에너지 축적 속도를 학습한다.
• timbral 특징과 pitch 정보의 최적 통합을 위해 다양한 아키텍처와 융합 전략을 평가한다.
• 과적합을 방지하기 위해 label smoothing과 조기 정지 기법을 사용하여 학습을 수행한다.

실험 결과

연구 질문

• RQ1 pitch 정보 통합이 프레임 단위 악기 식별 성능에 어떤 영향을 미치는가?
• RQ2 pitch 정보가 다양한 악기 간 음정 부분 에너지 동역학을 얼마나 잘 학습하는 데 기여하는가?
• RQ3 pitch 조건부 모델링이 timbral 특징만을 사용할 때보다 악기 식별의 일반화 능력을 향상시키는가?
• RQ4 임베딩 vs. one-hot 등의 다양한 pitch 통합 방법이 모델 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• pitch 정보 통합은 timbral 특징에만 의존하는 기준 모델 대비 성능 향상이 뚜렷하게 이루어진다.
• 이 모델은 MusicNet 데이터셋에서 프레임 단위 악기 식별 과제에서 최고 성능을 기록한다.
• pitch 조건부 처리 덕분에 모델은 악기 간 주요 특징이 되는 음정 부분 에너지 축적 패턴을 더 잘 포착한다.
• 제거 실험(ablation study) 결과, 모든 악기 클래스에서 pitch 통합이 일관되게 성능 향상을 이룬다.
• pitch 정보가 입력 표현에 포함될 경우, 다중 음악적 복잡성에 대한 모델의 강건성이 향상된다.
• 분석 결과, 유사한 timbral 프로파일을 가진 악기들을 구분하는 데 pitch 정보가 특히 밀도 높은 음악적 구간에서 유용함을 확인할 수 있다.