[논문 리뷰] Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling

Lars Hertel, Huy Phan외 1명|arXiv (Cornell University)|2016. 07. 11.

Music and Audio Processing참고 문헌 10인용 수 12

한 줄 요약

이 논문은 음향 환경 분류 및 국내 음성 태깅 작업에서 길이가 변하는 오디오 파일을 분류하기 위해 마스크된 글로벌 풀링을 갖춘 전-합성 신경망을 제안한다. 완전 연결 계층이나 드롭아웃 없이 원시 STFT 특징을 처리하여, 기준값 대비 84.5% 정확도(기준값 72.5%)와 0.17 등가 오류 비율(EER, 기준값 0.21)을 달성하며, 길이가 다른 입력에 대해 적응형 풀링과 엔드 투 엔드 특징 학습을 통해 뛰어난 성능을 보여준다.

ABSTRACT

We trained a deep all-convolutional neural network with masked global pooling to perform single-label classification for acoustic scene classification and multi-label classification for domestic audio tagging in the DCASE-2016 contest. Our network achieved an average accuracy of 84.5% on the four-fold cross-validation for acoustic scene recognition, compared to the provided baseline of 72.5%, and an average equal error rate of 0.17 for domestic audio tagging, compared to the baseline of 0.21. The network therefore improves the baselines by a relative amount of 17% and 19%, respectively. The network only consists of convolutional layers to extract features from the short-time Fourier transform and one global pooling layer to combine those features. It particularly possesses neither fully-connected layers, besides the fully-connected output layer, nor dropout layers.

연구 동기 및 목표

• 길이가 변하는 오디오 파일을 음향 환경 분류 및 국내 음성 태깅 작업에서 분류하는 데 도전하는 것.
• 수작업으로 만든 특징을 사용하는 기준 시스템을 초월하기 위해 STFT 표현에서 엔드 투 엔드 딥 러닝을 활용하는 것.
• 완전 연결 계층과 드롭아웃을 제거하고, 정규화 및 효율성 확보를 위해 오직 합성 계층과 글로벌 풀링에 의존하는 것.
• 입력 자르기나 영점 패딩 없이 다양한 오디오 지속 시간에 일반화 가능한 강건하고 파라미터 효율적인 아키텍처를 개발하는 것.

제안 방법

• 네트워크는 짧은 시간 푸리에 변환(STFT)의 크기를 입력으로 사용하며, 25 ms 헨윈 윈도우와 15 ms 스텝 크기를 사용한다.
• 시간 차원을 감소시키기 위해 커널 크기 3, 스트라이드 2인 1차원 합성 계층의 스택을 사용하며, 전통적인 풀링 계층을 대체한다.
• 마스크된 글로벌 평균 풀링 계층은 시간 축을 따라 특징을 집계하며, 패딩된 영역을 무시함으로써 입력 길이에 동적으로 적응한다.
• 각 합성 계층 뒤에 ReLU 활성화 함수를 사용하고, 완전 연결 계층을 회피함으로써 파라미터 수와 학습 시간을 줄인다.
• 입력 특징을 전체 데이터셋 기준으로 표준화하여 평균이 0이고 분산이 1이 되도록 정규화한다.
• 수작업 특징(예: MFCC) 없이 원시 STFT 입력에서 끝에서 끝까지 학습하며, 학습된 필터 벤드에 중점을 둔다.

실험 결과

연구 질문

• RQ1 마스크된 글로벌 풀링을 갖춘 전-합성 네트워크가 길이가 변하는 오디오에서 전통적 기준 시스템을 능가할 수 있는가?
• RQ2 입력 자르기나 영점 패딩 없이 마스크된 글로벌 풀링이 길이가 변하는 오디오 입력을 얼마나 효과적으로 처리하는가?
• RQ3 완전 연결 계층과 드롭아웃을 제거해도 오디오 분류 작업에서 강력한 일반화 성능을 유지할 수 있는가?
• RQ4 16 kHz로 다운샘플링하는 것과 비교해 44.1 kHz 전체 샘플링 속도를 유지할 경우 성능 향상 정도는 어느 정도인가?
• RQ5 STFT 특징에서 엔드 투 엔드 학습이 MFCC와 같은 수작업 특징 기반 시스템을 능가할 수 있는가?

주요 결과

• 음향 환경 분류 작업에서 네트워크는 4겹 교차검증에서 평균 84.5% 정확도를 달성하여 기준값 72.5% 대비 12个百分点 향상되었다.
• 국내 음성 태깅 작업에서는 0.17의 등가 오류 비율(EER)을 기록하여 기준값 0.21 대비 19% 상대적 향상이 있었다.
• 기준값이 더 잘 성능을 내는 두 개의 음향 환경 제외하고는 모든 환경에서 네트워크가 기준값을 초월했다 — 카페/레스토랑 및 주거 지역.
• 네트워크가 가장 어려워한 환경은 '공원'이었으며, 인식률은 13.9%로 기준값과 동일했다.
• 네트워크는 '오피스'와 '지하철역' 환경을 인식하는 데 특히 뛰어나 일부 폴드에서 100% 정확도를 달성했다.
• 어린이의 말소리는 가장 쉽게 인식된 태그였으며(EER 0.06), 성인 남성의 말소리는 가장 어려웠다(EER 0.20). 네트워크는 넓은 대역의 잡음과 비디오 게임/TV 태그를 다소 어려워했으며, 이는 기준값이 강력한 성능을 보였기 때문이다.