[논문 리뷰] An Attention Mechanism for Musical Instrument Recognition

Siddharth Gururani, Mohit Sharma외 1명|arXiv (Cornell University)|2019. 07. 09.

Music and Audio Processing참고 문헌 39인용 수 7

한 줄 요약

이 논문은 OpenMIC 데이터셋에서 제공하는 약한 레이블이 부여된 다성분 음악 오디오 데이터를 사용하여 다중 레이블 음악 악기 인식을 위한 어텐션 메커니즘을 제안한다. 작업을 다중 인스턴스 다중 레이블 학습 문제로 모델링함으로써, 어텐션 메커니즘은 각 악기별로 관련 있는 시간 세그먼트에 집중함으로써 분류 성능을 향상시키며, 특히 재현율과 F1 점수에서 향상된다. 이는 기준 모델에 비해 더 정확하고 해석 가능한 예측을 가능하게 한다.

ABSTRACT

While the automatic recognition of musical instruments has seen significant progress, the task is still considered hard for music featuring multiple instruments as opposed to single instrument recordings. Datasets for polyphonic instrument recognition can be categorized into roughly two categories. Some, such as MedleyDB, have strong per-frame instrument activity annotations but are usually small in size. Other, larger datasets such as OpenMIC only have weak labels, i.e., instrument presence or absence is annotated only for long snippets of a song. We explore an attention mechanism for handling weakly labeled data for multi-label instrument recognition. Attention has been found to perform well for other tasks with weakly labeled data. We compare the proposed attention model to multiple models which include a baseline binary relevance random forest, recurrent neural network, and fully connected neural networks. Our results show that incorporating attention leads to an overall improvement in classification accuracy metrics across all 20 instruments in the OpenMIC dataset. We find that attention enables models to focus on (or 'attend to') specific time segments in the audio relevant to each instrument label leading to interpretable results.

연구 동기 및 목표

• 세부적인 시간 레이블이 없는 약한 레이블이 부여된 다성분 음악 데이터셋에서 정확한 악기 인식 모델을 훈련하는 데 도전하는 것.
• 클라리넷이나 플루트와 같은 희귀한 악기들에 특히 영향을 미치는 다중 레이블 악기 인식의 클래스 불균형 문제를 해결하는 것.
• 어텐션 메커니즘을 통해 각 악기 레이블에 대한 관련 있는 오디오 세그먼트를 국소화함으로써 모델의 해석 가능성 향상.
• OpenMIC 데이터셋에서 어텐션 기반의 인스턴스 수준 예측 집계 방식이 랜덤 포레스트, 완전 연결 네트워크, RNN과 같은 전통적 모델보다 성능이 뛰어나다는 것을 입증하는 것.

제안 방법

• 각 오디오 클립을 짧은 시간 오디오 인스턴스의 '백'으로 간주하는 다중 인스턴스 다중 레이블(MIML) 학습 문제로 악기 인식 작업을 공식화한다.
• 각 악기 레이블에 대한 관련성에 따라 개별 시간 인스턴스의 가중치를 동적으로 조정하는 어텐션 메커니즘을 적용하여 주목할 만한 세그먼트에 집중할 수 있도록 한다.
• 인스턴스별 악기 존재 여부를 예측하기 위해 피드포워드 신경망을 사용한 후, 학습된 어텐션 가중치를 사용하여 예측을 집계하는 가분한 어텐션 레이어를 적용한다.
• 다중 레이블 출력을 위해 시그모이드 활성화 함수를 사용하고 이진 교차 엔트로피 손실을 적용하여 모델을 엔드 투 엔드로 훈련한다. 최종 이진 예측을 위해 임계값 0.5를 적용한다.
• 어텐션 모델(ATT)을 기준 모델들과 비교한다: 이진 관련성 랜덤 포레스트(RF_BR), 평균 풀링을 적용한 완전 연결 네트워크(FC_T), 순환 신경망(RNN).
• 어텐션 가중치를 시각화하여 모델의 해석 가능성 평가 및 어텐션이 오디오 클립 내에서 관련 있는 악기 활동을 올바르게 국소화하고 있는지 확인한다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 및 전통적 기계학습 기준 모델 대비, 약한 레이블이 부여된 다성분 음악 데이터에서 어텐션 메커니즘이 다중 레이블 악기 인식 성능을 향상시킬 수 있는가?
• RQ2 어떤 정도 어텐션 메커니즘이 클라리넷이나 플루트와 같은 저빈도 악기들에 대해 클래스 불균형 문제를 완화하는 데 기여하는가?
• RQ3 어떤 정도 어텐션 메커니즘이 오디오 클립 내에서 관련 있는 시간 세그먼트를 국소화할 수 있는가? 이는 모델의 해석 가능성 향상에 기여하는가?
• RQ4 어떤 정도 어텐션 기반 모델이 인스턴스 수준 예측을 집계하는 데 있어 평균 풀링(FC_T) 또는 순환 구조(RNN)를 사용하는 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 어텐션 메커니즘은 OpenMIC 데이터셋의 20개 악기 전반에서 재현율과 F1 점수를 크게 향상시키며, 특히 클라리넷, 플루트, 오르간과 같이 클래스 불균형이 심한 악기들에 특히 유익하다.
• 어떤 악기들이라도 어린이 모델(ATT)은 이진 관련성 랜덤 포레스트(RF_BR) 기준 모델보다 F1 점수에서 뛰어나며, 특히 양성-음성 클래스 비율이 불균형한 악기들에서 두드러진 성능 향상을 보인다.
• 완전 연결 네트워크에 평균 풀링을 적용한 모델(FC_T)보다 ATT가 더 뛰어난 성능을 보이며, 이는 어텐션 기반 집계 방식이 인스턴스 수준 예측을 단순 평균화하는 것보다 더 효과적이라는 것을 시사한다.
• RNN 기준 모델은 RF_BR를 능가하며, 인스턴스 시퀀스의 시간적 상관관계를 모델링함으로써 성능 향상을 보였지만, ATT는 전체 정확도에서 RNN을 능가한다.
• 어텐션 가중치의 시각화 결과, 모델이 오디오 클립 내에서 악기 활동을 성공적으로 국소화하고 있음을 확인할 수 있었다. 예를 들어, 바이올린이 두드러지게 연주되는 기간 동안 바이올린에 집중하고, 보컬이 존재할 경우 보컬에 집중하는 것으로 나타났다.
• 경량 아키텍처를 유지하면서도 약한 지도 학습 기반의 악기 인식에서 최신 기술 수준의 성능을 달성함으로써, 실세계 MIR 응용 분야에서의 확장성과 실용성 잠재력을 보여준다.