[논문 리뷰] DCASE 2018 Challenge Surrey Cross-Task convolutional neural network baseline

Qiuqiang Kong, Turab Iqbal외 3명|arXiv (Cornell University)|2018. 08. 02.

Music and Audio Processing참고 문헌 18인용 수 31

한 줄 요약

이 논문은 DCASE 2018 챌린지에 대한 교차 작업 컨볼루션 신경망(CNN) 베이스라인을 제시하며, 다섯 가지 음성 작업에서 4층 및 8층 CNN을 평가한다. 8층 CNN은 음향 환경 분류를 제외한 모든 작업에서 4층 버전을 능가하며, 작업 1에서는 68.0%의 정확도, 작업 2에서는 평균 평균 정밀도 92.8%, 작업 3에서는 AUC 85.4%, 작업 4에서는 F1 점수 20.8%, 작업 5에서는 F1 점수 87.75%를 기록한다.

ABSTRACT

The Detection and Classification of Acoustic Scenes and Events (DCASE) consists of five audio classification and sound event detection tasks: 1) Acoustic scene classification, 2) General-purpose audio tagging of Freesound, 3) Bird audio detection, 4) Weakly-labeled semi-supervised sound event detection and 5) Multi-channel audio classification. In this paper, we create a cross-task baseline system for all five tasks based on a convlutional neural network (CNN): a "CNN Baseline" system. We implemented CNNs with 4 layers and 8 layers originating from AlexNet and VGG from computer vision. We investigated how the performance varies from task to task with the same configuration of neural networks. Experiments show that deeper CNN with 8 layers performs better than CNN with 4 layers on all tasks except Task 1. Using CNN with 8 layers, we achieve an accuracy of 0.680 on Task 1, an accuracy of 0.895 and a mean average precision (MAP) of 0.928 on Task 2, an accuracy of 0.751 and an area under the curve (AUC) of 0.854 on Task 3, a sound event detection F1 score of 20.8% on Task 4, and an F1 score of 87.75% on Task 5. We released the Python source code of the baseline systems under the MIT license for further research.

연구 동기 및 목표

• DCASE 2018 챌린지에서 다섯 가지 다양한 음성 분류 및 사운드 이벤트 탐지 작업을 아우르는 통합된 교차 작업 CNN 베이스라인을 수립하기 위해.
• 모든 다섯 가지 작업에서 4층 및 8층 CNN 아키텍처 간의 성능 차이를 평가하기 위해.
• 동일한 네트워크 구성에서 모델 성능을 비교하여 작업 난이도를 조사하기 위해.
• 향후 연구를 위해 재현 가능한 오픈소스 기반 시스템을 공개하기 위해.
• 약한 레이블링 및 다중 모odal 음성 환경에서 CNN의 일반화 및 확장성에 대한 통찰을 제공하기 위해.

제안 방법

• AlexNet을 영감으로 삼은 4층 CNN과 VGG 기반의 8층 CNN을 구현하며, 입력으로 로그 멜 스펙트로그램을 사용한다.
• 모든 컨볼루션 블록에 2×2 커널을 사용한 맥스 풀링과 배치 정규화를 적용하여 학습 안정성 향상 및 일반화 성능 향상에 기여한다.
• 다중 레이블 분류를 위해 글로벌 평균 풀링 후 시그모이드 활성화 함수를 사용하는 완전 연결 층을 적용한다.
• 작업 4(약한 레이블링된 SED)의 경우, 온셋 및 오프셋 시간 탐지를 위해 임계치(0.2 및 0.8)를 적용한 프레임 단위 예측을 수행하고, 학습 중에 클립 단위 레이블링을 사용한다.
• 작업 4에서 특징 맵의 시간 해상도를 유지하기 위해, 시간 축에 대해선 맥스 풀링을 적용하지 않고 주로 주파수 축에만 적용한다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 학습하고, 정확도, 평균 평균 정밀도(MAP), AUC, F1 점수와 같은 표준 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 공통된 CNN 아키텍처는 DCASE 2018 챌린지의 다양한 음성 작업에서 어떻게 성능을 발휘하는가?
• RQ2 4층에서 8층으로 네트워크 깊이를 늘일 경우, 모든 작업에서 성능 향상이 일관되게 이루어지는가?
• RQ3 동일한 모델 구성 하에서 가장 곤란한 작업은 무엇이며, 작업 난이도에 기여하는 요인은 무엇인가?
• RQ4 단일 CNN 베이스라인은 약한 레이블링, 다중 채널, 다중 클래스 음성 환경에서 효과적으로 일반화될 수 있는가?
• RQ5 다른 추론 전략(예: 임계치 기반 vs. 클립 단위 레이블링)은 약한 레이블링 환경에서 사운드 이벤트 탐지 성능에 어떻게 영향을 미치는가?

주요 결과

• 8층 CNN은 작업 1(음향 환경 분류)에서 68.0%의 정확도를 기록하며 4층 CNN을 능가했지만, 성능 차이는 미미했다.
• 작업 2(일반 목적의 오디오 태깅)에서 8층 CNN은 평균 평균 정밀도(MAP) 0.928을 기록하며 4층 모델을 크게 능가했다.
• 작업 3(새의 음성 탐지)에서 8층 CNN은 개발 세트에서 AUC 0.854, 평가 세트에서 0.809를 기록하며 4층 모델의 성능을 초월했다.
• 작업 4(약한 레이블링된 반감독 SED)에서 8층 CNN은 SED1 추론 전략을 사용해 F1 점수 20.8%를 기록했으며, 이는 작업이 여전히 매우 곤란하다는 것을 시사한다.
• 작업 5(다중 채널 음성 분류)에서 8층 CNN은 개발 세트에서 F1 점수 87.75%, 평가 세트에서 미지의 마이크를 사용해 83.2%를 기록하며 뛰어난 강건성을 보였다.
• 8층 CNN은 작업 1를 제외한 모든 작업에서 4층 모델을 능가했으며, 이는 더 깊은 네트워크가 복잡한 오디오 태깅 및 탐지 작업에 더 효과적임을 시사한다.