[논문 리뷰] Musical Instrument Recognition Using Their Distinctive Characteristics in Artificial Neural Networks

Babak Toghiani-Rizi, Marcus Windmark|arXiv (Cornell University)|2017. 05. 14.

Music and Audio Processing참고 문헌 8인용 수 10

한 줄 요약

이 연구는 인공신경망(ANN)을 사용하여 다양한 음향 특징—예를 들어 전체 주파수 스펙트럼, 공격 트랜지언트, 저주파 대역—이 음악 악기 식별에 미치는 영향을 평가한다. 기본 모델은 전체 1–1000 Hz 주파수 스펙트럼을 사용하여 93.5%의 정확도를 달성했으며, 공격 트랜지언트만을 사용한 경우 정확도는 80.2%로 떨어졌으며, 이는 주파수 내용이 시간적 트랜지언트보다 음악 악기 분류에 더 구분력이 있음을 시사한다.

ABSTRACT

In this study an Artificial Neural Network was trained to classify musical instruments, using audio samples transformed to the frequency domain. Different features of the sound, in both time and frequency domain, were analyzed and compared in relation to how much information that could be derived from that limited data. The study concluded that in comparison with the base experiment, that had an accuracy of 93.5%, using the attack only resulted in 80.2% and the initial 100 Hz in 64.2%.

연구 동기 및 목표

• 다양한 음향 특징—예를 들어 공격 트랜지언트, 저주파 대역, 전체 스펙트럼—이 음악 악기 식별에 미치는 구분 능력을 평가하기 위해.
• 시간적 특성(예: 공격)과 주파수 분포 등 주파수 내용 중 어느 것이 더 정확한 분류에 기여하는지 규명하기 위해.
• 전체 신호 대비 부분적인 음향 표현에서 훈련된 인공신경망(ANN)의 성능을 평가하기 위해.
• 미래 연구를 위한 기초를 마련하기 위해, 부분적인 음향 데이터 또는 특정 주파수 대역만을 사용할 경우 정확도 손실를 정량화하기 위해.

제안 방법

• 원시 음성 샘플을 주파수 도메인으로 변환하기 위해 빠른 푸리에 변환(FFT)을 사용하여 스펙트럼 표현을 생성하였다.
• 1–1000 Hz 범위 내에서 정규화된 주파수 스펙트럼 분할로부터 특징 벡터를 구성하였으며, 일관성을 위해 벡터 길이를 50으로 설정하였다.
• 런던 필하모니아 오케스트라 데이터셋을 사용하여 8종의 악기 클래스(예: 바이올린, 트럼프트, 클라리넷)에 대해 인공신경망(ANN)을 훈련시었다.
• 다섯 가지의 별도 실험을 수행하였다: 전체 신호, 공격 전용, 비공격 부분, 초기 100 Hz, 100–1000 Hz 대역, 각 실험에서 50차원 특징 벡터를 사용하였다.
• 특징 공간 내에서 클래스 간 분리 가능성 평가 및 시각화를 위해 주성분 분석(PCA)을 사용하였다.
• 모델 성능 평가에 있어 모든 실험에서 분류 정확도를 사용하였으며, 정확도를 확보하기 위해 교차 검증을 실시하였다.

실험 결과

연구 질문

• RQ1 전체 주파수 스펙트럼(1–1000 Hz)을 포함할 경우, ANN이 음악 악기 식별에 있어 정확도에 어떤 영향을 미치는가?
• RQ2 전체 신호 대비 공격 트랜지언트만으로도 음악 악기 식별 정확도에 어느 정도 기여하는가?
• RQ3 특징 벡터를 주파수 스펙트럼의 첫 100 Hz로 제한할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ4 공격 트랜지언트가 제거된 경우에도 신뢰할 수 있는 음악 악기 식별이 가능할 수 있는가, 만약 가능하다면 어느 정도의 정확도로 가능한가?
• RQ5 다양한 주파수 대역 조합(예: 100–1000 Hz)은 음악 악기 식별에 있어 어떤 구분 능력을 가지는가?

주요 결과

• 전체 1–1000 Hz 주파수 스펙트럼을 사용한 기본 실험에서 최고의 정확도 93.5%를 기록하였다.
• 공격 트랜지언트만을 사용한 경우 정확도가 80.2%로 감소하여, 공격 트랜지언트는 정보를 제공하지만 최적의 분류에 충분하지 않음을 시사한다.
• 특징 벡터를 주파수 스펙트럼의 첫 100 Hz로 제한한 경우 정확도가 64.2%로 가장 낮아졌으며, 매우 낮은 주파수에서의 구분 능력이 제한됨을 시사한다.
• 공격 트랜지언트를 제외한 경우(즉, 유도 및 감쇠 부분 사용) 중간 수준의 정확도 80.2%를 달성하여, 지속 단계의 주파수 내용이 여전히 의미 있는 정보를 제공함을 보여준다.
• 이 연구는 넓은 주파수 범위(1–1000 Hz)의 주파수 특징이 시간적 트랜지언트나 좁은 대역 조합보다 음악 악기 식별에 더 효과적임을 확인한다.
• 결과적으로 향후 연구는 메르-주파수 체스트럼 계수(MFCCs)와 같은 대체 표현 방식을 탐색함으로써 정확도 향상을 도모할 수 있을 것으로 제안하며, 이는 향후 실험을 위한 유망한 방향으로 지목되었다.