[논문 리뷰] Extended playing techniques: The next milestone in musical instrument recognition

Vincent Lostanlen, Joakim Andén외 1명|arXiv (Cornell University)|2018. 08. 29.

Music and Audio Processing참고 문헌 33인용 수 7

한 줄 요약

이 논문은 16개 악기에서 143개의 연주 기법을 포함하는 새로운 벤치마크를 소개하며, 정밀도 61.0%를 달성하여 MFCC 기반 베이스라인(44.5%)을 크게 앞서며, 파형 산란 변환, 장거리 시간적 모델링, 그리고 대용량 근접 이웃(LMNN) 거리 학습을 결합하여 스펙트로타임포락 패턴을 포착하고 내부 클래스 변동성을 감소시킨다.

ABSTRACT

The expressive variability in producing a musical note conveys information essential to the modeling of orchestration and style. As such, it plays a crucial role in computer-assisted browsing of massive digital music corpora. Yet, although the automatic recognition of a musical instrument from the recording of a single "ordinary" note is considered a solved problem, automatic identification of instrumental playing technique (IPT) remains largely underdeveloped. We benchmark machine listening systems for query-by-example browsing among 143 extended IPTs for 16 instruments, amounting to 469 triplets of instrument, mute, and technique. We identify and discuss three necessary conditions for significantly outperforming the traditional mel-frequency cepstral coefficient (MFCC) baseline: the addition of second-order scattering coefficients to account for amplitude modulation, the incorporation of long-range temporal dependencies, and metric learning using large-margin nearest neighbors (LMNN) to reduce intra-class variability. Evaluating on the Studio On Line (SOL) dataset, we obtain a precision at rank 5 of 99.7% for instrument recognition (baseline at 89.0%) and of 61.0% for IPT recognition (baseline at 44.5%). We interpret this gain through a qualitative assessment of practical usability and visualization using nonlinear dimensionality reduction.

연구 동기 및 목표

• 확장된 연주 기법(IPT)에 대한 자동 인식에 대한 체계적인 연구 부족을 해결하기 위해, 음악적 스타일 및 오케스트라 편곡 모델링에 핵심적인 역할을 하는 IPT 인식의 필요성에 기여한다.
• 기본적인 악기 또는 음고 분류를 넘어서 디지털 음악 라이브러리의 조직화를 위한 중위도 기술자료로 IPT를 인식한다.
• 연주자 제스처와 연장된 기법으로 인한 톤의 표현에서 발생하는 높은 내부 클래스 변동성 문제를 해결한다.
• 다양한 악기와 기법 간 유사한 IPT를 검색할 수 있는 예시 기반 쿼리 시스템을 개발한다.
• 469개의 악기-마이크-기법 조합과 143개의 IPT 클래스를 포함하는 Studio On Line(SOL) 데이터셋을 기반으로 대규모 벤치마크를 구축한다.

제안 방법

• 파형 기반 산란 변환을 사용하여 진폭 변조와 고조파 구조를 포착하는 안정적이고 강력한 스펙트로타임포락 특징을 추출한다.
• 이차 산란 계수를 통합하여 음성 신호의 비선형성과 시간적 변조를 모델링한다.
• 장기적인 시간적 의존성을 모델링하기 위해 순환 신경망(LSTM)을 사용하여 국소 스펙트럼 환경을 초월한다.
• 유사한 IPT 클래스를 임베딩 공간에서 더 가깝게 만들음으로써 내부 클래스 변동성을 감소시키기 위해 대용량 근접 이웃(LMNN) 거리 학습을 적용한다.
• MFCC와 산란 특징을 결합하고 LMNN를 후처리로 적용하여 악기 및 IPT 인식의 분류 능력을 향상시킨다.
• 확산 맵을 사용하여 학습된 표현을 시각화하여 특징 공간의 분리 효과를 해석한다.

실험 결과

연구 질문

• RQ1 기계 청취 시스템은 다수의 악기로 구성된 대규모 분류 체계에서 연장된 연주 기법(IPT)을 효과적으로 인식할 수 있는가?
• RQ2 IPT 인식 작업에서 전통적인 MFCC보다 뛰어난 특징과 아키텍처는 무엇인가?
• RQ3 진폭 변조, 시간적 동역학, 내부 클래스 변동성이 IPT 인식 성능에 미치는 영향은 무엇인가?
• RQ4 거리 학습과 산란 변환은 IPT의 오디오 임베딩의 분류 능력을 얼마나 향상시킬 수 있는가?
• RQ5 학습된 임베딩 공간에서 자동화된 유사도 측정값과 주관적인 유사도 간의 비교는 어떻게 이루어지는가?

주요 결과

• 제안된 시스템은 악기 인식에서 순위 5 기준 99.7%의 정밀도를 달성하였으며, MFCC 기반 베이스라인(89.0%)에 비해 크게 향상되었다.
• IPT 인식에서는 순위 5 기준 61.0%의 정밀도를 기록하였으며, MFCC 기반 베이스라인(44.5%)을 크게 앞서는 성능을 보였다.
• 산란 변환은 MFCC와 달리 저차원 임베딩에서 악기 종류(예: 바이올린 vs. 트럼펫)와 연주 기법(예: 트레몰로 vs. 올리니아리오)을 효과적으로 분리한다.
• 이차 산란, 장기 의존성의 LSTM 모델링, LMNN 거리 학습의 조합이 높은 성능을 내기 위해 필수적이다.
• 확산 맵을 통한 시각화 결과, LMNN 처리된 산란 특징가 내부 클래스 군집을 감소시키고 클래스 간 분리도 향상됨을 확인하였다.
• 본 연구는 현재 MIR 시스템의 격차를 규명하였다: IPT 인식은 음악적 스타일과 디지털 음악 브라우징에 중요함에도 불구하고 여전히 개발이 부족한 상태이다.