[논문 리뷰] Leveraging Hierarchical Structures for Few-Shot Musical Instrument Recognition

Hugo Flores García, Aldo Aguilar외 2명|arXiv (Cornell University)|2021. 07. 14.

Music and Audio Processing인용 수 11

한 줄 요약

이 논문은 히어라르키컬 손실과 사전 정의된 악기 계층 구조(예: 호른보스텔-삭스 분류)를 통한 프로토타입 집계를 통해 프로토타입 네트워크를 확장함으로써 히어라르키컬 소수 샘플 학습 방법을 제안한다. 이 방법은 계층 내 공통 조상 관계를 활용하여 훈련 중에 볼 수 없었던 악기, 특히 희귀한 악기인 중루안과 같은 악기에서 분류 정확도를 향상시키고 실수의 심각도를 감소시킨다. 아키텍처 변경 없이도 비히어라르키컬 기반보다 우수한 성능을 보인다.

ABSTRACT

Deep learning work on musical instrument recognition has generally focused on instrument classes for which we have abundant data. In this work, we exploit hierarchical relationships between instruments in a few-shot learning setup to enable classification of a wider set of musical instruments, given a few examples at inference. We apply a hierarchical loss function to the training of prototypical networks, combined with a method to aggregate prototypes hierarchically, mirroring the structure of a predefined musical instrument hierarchy. These extensions require no changes to the network architecture and new levels can be easily added or removed. Compared to a non-hierarchical few-shot baseline, our method leads to a significant increase in classification accuracy and significant decrease mistake severity on instrument classes unseen in training.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 악기 클래스에 대해 소수 샘플 음악 악기 인식을 가능하게 하여 다양한 음악 악기 카테고리에서의 데이터 부족 문제를 해결한다.
• 악기 분류 체계 내 히어라르키컬 관계를 활용하여 훈련 중에 볼 수 없는 악기에서의 분류 성능 향상과 실수의 심각도 감소를 도모한다.
• 네트워크 아키텍처를 수정하지 않고도 히어라르키컬 구조를 프로토타입 네트워크에 통합할 수 있는 방법을 개발한다. 이는 계층 수준의 유연한 추가 또는 제거를 가능하게 한다.
• 히어라르키컬 구조의 종류(예: 호른보스텔-삭스 분류 vs. 무작위 트리)가 소수 샘플 학습 성능에 미치는 영향을 평가한다.
• 새로운 가중치 히어라르키컬 교차 엔트로피 손실이 의미 있는 히어라르키컬 표현을 학습하는 데 어떻게 기여하는지 조사한다.

제안 방법

• 이 방법은 프로토타입 네트워크를 확장하여 세분화된 지원 예제를 다중 해상도에서 프로토타입으로 계산한다. 세분화된 지원 예제들이 계층적 클러스터링 유사 과정을 통해 고수준 메타프로토타입으로 집계된다.
• 가중치 히어라르키컬 교차 엔트로피 손실이 도입되었으며, 이는 학습 가능한 파라미터 α를 통해 세분화된 또는 총괄적인 분류의 강조 정도를 조절한다. α ∈ {−1, −0.5, 0, 0.5, 1}이다.
• 히어라르키컬 구조는 트리로 모델링되며, 프로토타입은 잎 노드(특정 악기)에서 부모 노드(예: '현악기'와 같은 넓은 범주)로 상향 전파된다.
• 모델은 에피소드 기반 훈련을 통해 엔드 투 엔드로 훈련되며, 각 에피소드는 N개의 클래스와 클래스당 K개의 지원 예제를 샘플링한다. 예측은 프로토타입과의 코사인 유사도를 사용하여 수행된다.
• 이 방법은 동적 어휘 확장이 가능하다. 새로운 악기 클래스는 단 몇 개의 예제만으로도 계층 내 조상 관계를 활용하여 추가할 수 있다.
• 호른보스텔-삭스 분류가 표준 계층으로 사용되며, 정량적 분석에서는 랜덤 트리도 평가하여 탄력성 여부를 점검한다.

실험 결과

연구 질문

• RQ1 소수 샘플 학습에 히어라르키컬 구조를 통합하면 훈련 중에 볼 수 없는 음악 악기 클래스에서 분류 정확도 향상과 실수의 심각도 감소에 기여하는가?
• RQ2 총체적 및 세분화된 카테고리 모두를 강조하는 히어라르키컬 손실 함수는 평탄한 다중 레이블 교차 엔트로피 기반보다 더 나은 일반화 성능을 보이는가?
• RQ3 계층의 선택(예: 호른보스텔-삭스 vs. 랜덤 트리)이 소수 샘플 성능과 분포 외 악기로의 일반화에 어떤 영향을 미치는가?
• RQ4 모델이 악기 계층의 공통 조상 관계를 얼마나 잘 활용하여 중루안과 같은 희귀 악기를 몇 개의 예제로도 분류할 수 있는가?
• RQ5 성능 향상은 히어라르키컬 구조 자체의 영향인지, 아니면 랜덤 트리도 유사한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 서양 음악 데이터셋에서 잘 표현되지 않은 희귀 악기인 중루안에 대해 F1 스코어에서 상대적 16.56% 향상된 성과를 기록했다.
• 테스트 세트의 24개 악기 클래스 중 18개에서 비히어라르키컬 기반보다 성능이 뛰어나, 다양한 악기 유형에 걸쳐 광범위한 일반화 능력을 입증했다.
• α = 1(세분화된 카테고리 강조)인 히어라르키컬 손실이 가장 우수한 성능을 보였으며, 평탄한 이진 교차 엔트로피 기반보다 유의미하게 뛰어났다. 이는 평탄한 기반의 경우 심각한 성능 저하를 초래했다.
• 호른보스텔-삭스 계층은 랜덤 트리보다 유의미하게 뛰어난 성능을 보였다. '랜덤 최고' 계층은 성능은 유사했지만 실수의 심각도에서 일반화 실패를 보였고, '랜덤 최악' 계층은 통계적으로 유의미한 성능 저하를 보였다(p < 0.005).
• 히어라르키컬 프로토타입 집계와 손실 함수는 훈련 중에 볼 수 없는 악기 클래스에서 분류 정확도의 통계적 유의미한 증가와 실수의 심각도 감소를 이끌었다.
• 이 방법은 탄력적이고 확장 가능하다. 아키텍처 변경이 필요 없으며, 새로운 계층 수준을 쉽게 추가하거나 제거할 수 있다.