[논문 리뷰] Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection

Naoya Takahashi, Michael Gygli외 2명|arXiv (Cornell University)|2016. 04. 25.

Music and Audio Processing참고 문헌 33인용 수 94

한 줄 요약

이 논문은 긴 지속 시간의 음성 이벤트를 직접 모델링할 수 있도록 큰 입력 분야를 가진 9층의 딥 컨볼루션 신경망(CNN)을 제안하며, 프레임 단위 집계나 HMM에 의존하지 않고 엔드 투 엔드 음성 이벤트 검출(AED)을 가능하게 한다. 또한, 일반화 능력을 향상시키고 기존 최고 수준의 방법들인 BoAW+SVM보다 16%의 절대 정확도 향상을 달성하기 위해 새로운 데이터 증강 방법인 강조 기반 다중 척도 데이터 증강(EMDA)을 도입한다.

ABSTRACT

We propose a novel method for Acoustic Event Detection (AED). In contrast to speech, sounds coming from acoustic events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of a clear sub-word unit. In order to incorporate the long-time frequency structure for AED, we introduce a convolutional neural network (CNN) with a large input field. In contrast to previous works, this enables to train audio event detection end-to-end. Our architecture is inspired by the success of VGGNet and uses small, 3x3 convolutions, but more depth than previous methods in AED. In order to prevent over-fitting and to take full advantage of the modeling capabilities of our network, we further propose a novel data augmentation method to introduce data variation. Experimental results show that our CNN significantly outperforms state of the art methods including Bag of Audio Words (BoAW) and classical CNNs, achieving a 16% absolute improvement.

연구 동기 및 목표

• 장기 지속 음성 이벤트를 수동으로 설계된 특징이나 HMM에 의존하지 않고 검출하는 데 도전하는 것.
• AED에서 흔히 발생하는 저데이터 환경에서의 과적합 문제를 해결하기 위해 새로운 데이터 증강 전략을 도입하는 것.
• 깊은 CNN의 큰 수신 필드를 통해 전체 이벤트를 직접 모델링함으로써 음성 이벤트 표현의 엔드 투 엔드 학습을 가능하게 하는 것.
• 작은 3×3 커널을 사용하는 더 깊은 아키텍처가 AED 작업에서 얕은 모델이나 전통적인 DNN보다 우수한 성능을 내는지 확인하는 것.

제안 방법

• 수신 필드를 늘리고 장기적인 시간적 의존성을 모델링하기 위해 3×3 컨볼루션 커널을 스택하여 VGGNet 아키텍처를 AED에 적응시킨다.
• 최대 400 프레임(~4초)까지의 큰 입력 분야를 활용해 전체 음성 이벤트를 직접 모델링함으로써 HMM 없이 엔드 투 엔드 학습을 가능하게 한다.
• 시간 왜곡과 진폭 조절을 적용하여 다양한 훈련 샘플을 생성하는 강조 기반 다중 척도 데이터 증강(EMDA)을 도입한다.
• EMDA를 벡터 타일러 선형 예측(VTLP)과 조합하여 데이터 변동성을 향상시키고, 데이터 부족에 대한 강건성을 높인다.
• 백프로파게이션을 통한 훈련을 위해 ReLU 활성화 함수, 맥스 풀링 레이어, L1-정규화된 크로스 엔트로피 손실 함수를 사용한다.
• 약한 레이블이 부여된 데이터를 처리하기 위해 다중 인스턴스 학습(MIL)을 평가하며, 최대 풀링 및 노이즈 OR 풀링을 사용하지만 성능 향상은 관찰되지 않는다.

실험 결과

연구 질문

• RQ1 큰 입력 분야를 가진 더 깊은 CNN이 HMM이나 프레임 단위 집계에 의존하지 않고 엔드 투 엔드 음성 이벤트 검출을 가능하게 할 수 있는가?
• RQ2 제안된 EMDA 데이터 증강 방법이 제한된 훈련 데이터에서 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 네트워크 깊이와 수신 필드 크기를 증가시키는 것이 기존의 DNN 및 BoAW 기반 방법에 비해 상당한 성능 향상을 이끌 수 있는가?
• RQ4 학습 데이터가 노이즈가 많거나 약한 레이블을 가진 경우 다중 인스턴스 학습(MIL)이 성능 향상에 기여하는가?
• RQ5 시간적 맥락과 정확도 측면에서 음성 이벤트를 모델링하기 위해 최적의 입력 분야 크기는 무엇인가?

주요 결과

• 큰 입력 분야를 가진 제안된 9층 CNN(아키텍처 B)은 데이터 증강을 통해 92.8%의 정확도를 달성했으며, BoAW+SVM 기준선(74.7%)보다 16%의 절대 정확도 향상을 기록했다.
• 데이터 증강은 B 아키텍처에서 성능을 12.5% 향상시켰으며, EMDA와 VTLP의 조합이 각각의 방법보다 더 우수한 성능을 보였다.
• 더 큰 입력 분야(예: 400 프레임)는 더 작은 분야(예: 30 프레임)보다 성능 향상이著명했으며, 입력 길이가 1초 이하로 떨어지면 정확도가 급격히 감소했다.
• 작은 3×3 커널을 사용하는 더 깊은 CNN는 파rameter 수가 적음에도 불구하고 얕은 모델보다 더 잘 일반화되었으며, 깊은 아키텍처의 효율성을 입증했다.
• 2초 입력 분야를 사용한 다중 인스턴스 학습(MIL)은 4초 입력 분야를 사용한 단일 인스턴스 학습보다 동일하거나 더 우수한 성능을 보였으며, 더 적은 파라미터 수로 더 좋은 인덕티브 바이어스를 제공하는 것으로 나타났다.
• 큰 입력 분야를 가진 CNN은 HMM 기반의 기준선보다도 23.5%포인트 높은 성능을 기록했으며, HMM 기반의 시퀀스 모델링보다 직접 모델링 방식이 우월함을 입증했다.