[논문 리뷰] Histogram of gradients of Time-Frequency Representations for Audio scene detection

Alain Rakotomamonjy, Gilles Gasso|arXiv (Cornell University)|2015. 08. 20.

Music and Audio Processing참고 문헌 1인용 수 7

한 줄 요약

이 논문은 시간-주파수 표현(TFR)에 히스토GRAMS OF GRADIENTS(HOG)를 적용하여 새로운 음성 장면 분류 특징을 제안한다. 특히 일정-Q 변환(CQT)을 사용한다. 국소적 스펙트럼 전력 변화의 방향성(예: 이동 중인 장면에서의 찌르르는 소리 같은 변조)을 캡처함으로써, MFCC 및 기타 최신 기술보다 우수한 성능을 보이며, 약 1500분의 음성 자료를 포함하는 새로 도입된 19개 클래스의 데이터셋에서 평균 정밀도(mAP)가 0.917을 기록한다.

ABSTRACT

This paper addresses the problem of audio scenes classification and contributes to the state of the art by proposing a novel feature. We build this feature by considering histogram of gradients (HOG) of time-frequency representation of an audio scene. Contrarily to classical audio features like MFCC, we make the hypothesis that histogram of gradients are able to encode some relevant informations in a time-frequency {representation:} namely, the local direction of variation (in time and frequency) of the signal spectral power. In addition, in order to gain more invariance and robustness, histogram of gradients are locally pooled. We have evaluated the relevance of {the novel feature} by comparing its performances with state-of-the-art competitors, on several datasets, including a novel one that we provide, as part of our contribution. This dataset, that we make publicly available, involves $19$ classes and contains about $900$ minutes of audio scene recording. We thus believe that it may be the next standard dataset for evaluating audio scene classification algorithms. Our comparison results clearly show that our HOG-based features outperform its competitors

연구 동기 및 목표

• 시간-주파수 표현에서 국소적 스펙트럼 전력 변화의 방향성을 캡처하는 새로운 특징을 제안하여 음성 장면 분류의 과제를 해결한다.
• 스펙트럼 에너볼롭을 기록하지만 동적 스펙트럼 변화(예: 찌르르는 소리나 가속도)를 반영하지 못하는 기존 특징(MFCC)의 한계를 극복한다.
• CQT 표현에서 추출한 HOG 특징의 局부 풀링을 통해 강건하고 불변성을 확보한 특징을 개발한다.
• 향후 연구를 위한 벤치마크로 사용할 수 있도록, 19개 클래스와 약 1500분의 녹음 자료를 포함하는 새로운 공개 가능한 음성 장면 데이터셋을 제공한다.
• 기존 특징들과의 비교를 통해, 새로운 데이터셋과 다수의 기존 데이터셋에서 HOG-TFR 특징의 우수성을 입증함으로써 최신 기술 수준의 성능을 검증한다.

제안 방법

• 음성 신호를 시간-주파수 표현(TFR)으로 변환하기 위해 일정-Q 변환(CQT)을 적용하여 로그 주파수 해상도를 유지한다.
• CQT의 크기 스펙트로그램에 히스토GRAMS OF GRADIENTS(HOG)를 적용하여 시간과 주파수에 따른 국소적 스펙트럼 전력 변화의 방향성을 인코딩한다.
• 8개의 바인으로 구성된 세포당 부호가 있는 및 없는 기울기 방향을 사용하고, 2x2 세포 단위의 공간 풀링(예: 2x2)을 적용하여 불변성과 강건성을 향상시킨다.
• HOG 히스토GRAM에 정규화를 적용하지 않고, 시간에 대해 완전히 풀링하여 전반적인 구조를 유지함으로써 분류 성능을 향상시킨다.
• 분류를 위해 지지 벡터 기반 분류기(SVM)를 HOG-TFR 특징으로 학습하고, 평가를 위해 20개의 랜덤 훈련/테스트 분할을 사용한다.
• 성능 평가 및 재현 가능성을 확보하기 위해, 19개 클래스와 약 1500분의 음성 녹음 자료를 포함하는 새로운 공개 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 시간-주파수 표현의 기울기 히스토GRAMS(HOG)는 MFCC가 기록하지 못하는 동적 스펙트럼 패턴(예: 이동 장면에서의 찌르르는 소리)을 효과적으로 캡처할 수 있는가?
• RQ2 실세계 음성 장면 데이터셋에서 제안된 HOG-TFR 특징은 MFCC 및 기타 최신 기술 특징과 비교해 분류 정확도에서 어떻게 성능을 내는가?
• RQ3 HOG 특징의 국소적 공간 풀링은 음성 장면 분류에서 강건성과 불변성을 얼마나 향상시키는가?
• RQ4 제안된 HOG-TFR 특징은 보행자 길이나 기차역 홀과 같이 유사한 청각 콘텐츠를 가진 다양한 음성 장면에 대해 잘 일반화되는가?
• RQ5 19개 클래스와 약 1500분의 음성 자료를 포함하는 새로운 공개 데이터셋은 향후 음성 장면 분류 연구를 위한 신뢰할 수 있는 벤치마크로 기능하는가?

주요 결과

• 제안된 HOG-TFR 특징은 새로운 19개 클래스 데이터셋에서 20개의 랜덤 훈련/테스트 분할에 걸쳐 평균 정밀도(mAP)가 0.9170을 기록한다.
• 정규화된 혼동 행렬을 통해 교통 관련 클래스(버스, 자동차, 기차, 고속열차, 비행기)가 각각 97% 이상의 정밀도로 정확히 식별됨을 확인하였다.
• 말하기 및 짧은 시간 이벤트 클래스(예: 아이 놀이터, 볼링장)도 HOG가 높은 주파수의 급격한 변화를 잘 포착함으로써 정밀도가 96%를 초과하여 잘 분류됨.
• 보행자 이동이 포함된 클래스(예: 보행자 길, 기차역 홀, 시장)는 자주 혼동되며, 인파의 밀도나 이동 패턴의 미세한 차이를 포착하지 못하는 한계를 보여줌.
• HOG-TFR 특징은 MFCC 및 기타 기준 특징을 초월하여, 운전 중 차량의 가속도 등으로 인한 방향성 있는 스펙트럼 동역학을 효과적으로 기록함을 입증함.
• 이 연구는 HOG-TFR 특징이 가속 중인 차량 등으로 인한 국소적 스펙트럼 전력 변화를 효과적으로 캡처할 수 있음을 확인하며, MFCC가 잘 표현하지 못하는 특징을 잘 반영함.