[논문 리뷰] Time-Frequency Audio Features for Speech-Music Classification

Mrinmoy Bhattacharjee, S. R. Mahadeva Prasanna외 1명|arXiv (Cornell University)|2018. 11. 03.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 음성-음악 분류를 위한 새로운 이단계 시간-주파수 특징 추출 방법을 제안하며, 음성 프레임 내 두드러진 주파수 피크에서 유도된 스펙트럼 피크 시퀀스(Spectral Peak Sequences, SPS)를 사용한다. SPS는 시간 시리즈로 간주되어 주기성, 제로크로싱률, 통계적 특징(SPS-SCG)을 추출한다. 이는 네 개의 데이터셋에서 기준 방법보다 뛰어난 성능을 보이며, 특히 SVM 분류기에서 두드러진 성능 향상을 보였다.

ABSTRACT

Distinct striation patterns are observed in the spectrograms of speech and music. This motivated us to propose three novel time-frequency features for speech-music classification. These features are extracted in two stages. First, a preset number of prominent spectral peak locations are identified from the spectra of each frame. These important peak locations obtained from each frame are used to form Spectral peak sequences (SPS) for an audio interval. In second stage, these SPS are treated as time series data of frequency locations. The proposed features are extracted as periodicity, average frequency and statistical attributes of these spectral peak sequences. Speech-music categorization is performed by learning binary classifiers on these features. We have experimented with Gaussian mixture models, support vector machine and random forest classifiers. Our proposal is validated on four datasets and benchmarked against three baseline approaches. Experimental results establish the validity of our proposal.

연구 동기 및 목표

• 시간-주파수 특성의 통합적 특성을 활용하여 음성 및 음악을 구분하는 데 어려움을 해결하기 위해.
• spectrogram에서의 특징적인 줄무늬 패턴—음성의 부드러운 곡선과 음악의 수평선—을 특징 추출 프레임워크를 통해 활용하기 위해.
• 시간이 지남에 따라 두드러진 스펙트럼 피크의 동적 변화를 포착하는 시간-주파수 특징을 개발하기 위해.
• 다양한 음성 데이터셋에서 제안된 특징을 기존 기준 방법과 비교 평가하기 위해.
• 스펙트럼 피크 시퀀스(SPS)에서 유도된 통계적 및 주기적 특징이 분류 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 각 음성 프레임에서 강한 스펙트럼 피크 p=20개를 크기 스펙트럼 분석을 통해 탐지한다.
• 프레임 간 피크의 주파수 위치를 시간 시리즈로 간주하여 스펙트럼 피크 시퀀스(SPS)를 구성한다.
• 각 SPS에서 세 가지 새로운 특징을 추출한다: 주기성(SPS-P), 제로크로싱률(SPS-ZCR), 표준편차, 중심점, 기울기의 복합 특징(SPS-SCG).
• SPS-SCG를 주요 특징 세트로 사용하며, 피크 시퀀스의 통계적 특성과 시간적 동역학을 통합하기 때문이다.
• 70:30 훈련-테스트 분할을 사용하여 추출된 특징으로 이진 분류기(GMM, SVM, 랜덤 포레스트)를 훈련하고 평가한다.
• SVM의 초매개변수를 격자 탐색을 통해 최적화하고 실험을 20회 반복하여 평균 F-스코어와 분산을 보고한다.

실험 결과

연구 질문

• RQ1 시간-주파수 표현에서 유도된 스펙트럼 피크 시퀀스가 기존의 스펙트럼 및 시간적 특징을 초월해 음성-음악 분류 성능을 향상시킬 수 있는가?
• RQ2 스펙트럼 피크 시퀀스의 주기성 및 통계적 특성은 음성 신호와 음악 신호 간에 어떻게 다름이 있는가?
• RQ3 제안된 SPS-SCG 특징 세트가 MFCC, Khonglah-FS, Sell-FS와 같은 기존 기준 방법보다 다양한 음성 환경에서 우수한 성능을 보일 수 있는가?
• RQ4 제안된 방법의 성능는 실제 방송 및 영화 음성과 같은 다양한 데이터셋에서도 안정적인가?
• RQ5 이중단계 특징 추출 프레임워크는 음성-음악 식별을 넘어서 다른 음성 분류 작업에 일반화될 수 있는가?

주요 결과

• SPS-SCG 특징 세트는 GTZAN, Scheirer-Slaney, TV News Broadcast 세 데이터셋에서 SVM 분류기와 함께 최고의 성능을 기록했다.
• 영화 데이터셋에서는 두 번째로 높은 성능을 기록하여 다양한 음성 콘텐츠에 대한 뛰어난 일반화 능력을 보였다.
• GTZAN 데이터셋에서 SPS-SCG는 최고의 기준 방법인 Khonglah-FS를 뛰어넘는 유의미한 성능 향상을 보이며, 그 분류 능력을 입증했다.
• 모든 네 개의 데이터셋에서 기존 기준 방법보다 일관된 향상을 보이며, 시간-주파수 동역학을 효과적으로 포착한다는 점을 검증했다.
• 초기 또는 후기 특징 융합에서 유의미한 성능 향상이 관찰되지 않아, SPS-SCG 자체가 강력하고 충분한 특징 표현임을 시사한다.
• 스펙트럼 피크 시퀀스를 시간 시리즈로 간주함으로써 음성과 음악에서 피치 및 허밍 구조의 고유한 시간적 변화를 효과적으로 포착할 수 있었다.