[논문 리뷰] R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection

Chieh-Chi Kao, Weiran Wang외 2명|arXiv (Cornell University)|2018. 08. 20.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 후처리 없이 이벤트 발생 시점과 종료 시점 타임스탬프를 직접 예측하는 엔드 투 엔드 오디오 이벤트 검출을 위한 영역 기반 컨볼루션 순환 신경망인 R-CRNN을 제안한다. 더블리어드 레이어를 통합한 Faster R-CNN 기반 프레임워크를 통해 장기적인 시간적 맥락을 포착함으로써, DCASE 2017 챌린지에서 이벤트 기반 오차율(ER) 0.09를 기록하여 최신 기술 수준(SOTA) 성능을 달성하였으며, 앙상블을 사용하지 않은 방법들보다 뛰어나고 R-FCN 대비 오차율을 절반으로 줄였다.

ABSTRACT

This paper proposes a Region-based Convolutional Recurrent Neural Network (R-CRNN) for audio event detection (AED). The proposed network is inspired by Faster-RCNN, a well known region-based convolutional network framework for visual object detection. Different from the original Faster-RCNN, a recurrent layer is added on top of the convolutional network to capture the long-term temporal context from the extracted high level features. While most of the previous works on AED generate predictions at frame level first, and then use post-processing to predict the onset/offset timestamps of events from a probability sequence; the proposed method generates predictions at event level directly and can be trained end-to-end with a multitask loss, which optimizes the classification and localization of audio events simultaneously. The proposed method is tested on DCASE 2017 Challenge dataset. To the best of our knowledge, R-CRNN is the best performing single-model method among all methods without using ensembles both on development and evaluation sets. Compared to the other region-based network for AED (R-FCN) with an event-based error rate (ER) of 0.18 on the development set, our method reduced the ER to half.

연구 동기 및 목표

• 프레임 수준의 예측과 후처리를 생략하여 이벤트 국소화를 위한 엔드 투 엔드 오디오 이벤트 검출 모델을 개발한다.
• 순환 모델링을 통해 장기적인 시간적 맥락을 활용하여 희귀 오디오 이벤트의 성능을 향상시킨다.
• 영역 기반 검출 프레임워크(Faster R-CNN)를 오디오 스펙트로그램에 적응시켜 정확한 이벤트 경계 예측을 가능하게 한다.
• 제한된 실세계 데이터에서 오디오 이벤트 검출을 위한 사전 훈련 및 미세조정 전략의 효과를 평가한다.

제안 방법

• 모델은 잔차 블록과 양방향 GRU를 갖춘 CRNN(Convolutional Recurrent Neural Network)을 사용하여 30초 분량의 스펙트로그램에서 고수준 특징을 추출한다.
• 영역 제안 네트워크(RPN)는 특징 맵을 바탕으로 후보 이벤트 간격(제안)을 생성하며, 이는 이미지에서의 객체 검출과 유사하다.
• 최종 분류기는 각 제안의 중심과 길이를 보정하여 이벤트 클래스, 발생 시점, 종료 시점을 다중 작업 손실 함수를 통해 예측한다.
• 분류 및 국소화를 동시에 최적화하는 연속 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 대규모 데이터셋(예: AudioSet)에서의 사전 훈련과 미세조정을 적용하여 특징 표현을 향상시켰으며, 특히 실제 이벤트 샘플 수가 제한된 상황에서 유의미한 성능 향상을 이룬다.
• 시간 축과 주파수 축을 갖는 2차원 컨볼루션 커널을 사용하며, 최종 특징 맵의 시간 해상도는 186 ms이다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 훈련이 가능한 영역 기반 딥 러닝 프레임워크가 오디오 이벤트 검출에 효과적으로 적용될 수 있는가?
• RQ2 영역 기반 네트워크에 순환 레이어를 통합함으로써 장기적인 시간적 의존성을 모델링하여 오디오 이벤트 검출 성능이 향상되는가?
• RQ3 제한된 실세계 데이터에서 특징 추출기의 사전 훈련 및 미세조정 전략이 검출 성능에 미치는 영향은 무엇인가?
• RQ4 프레임 수준의 예측과 후처리 없이 이벤트 수준의 예측을 달성할 수 있으며, 이는 일반화 성능 향상으로 이어지는가?

주요 결과

• R-CRNN는 DCASE 2017 개발 세트에서 이벤트 기반 오차율(ER) 0.09를 기록하여 모든 앙상블을 사용하지 않은 방법들보다 뛰어난 성능을 보였다.
• R-FCN 대비 오차율을 절반으로 줄여 0.18에서 0.09로 감소시켜, 영역 기반 검출에서 순환 모델링의 이점을 입증하였다.
• 사전 훈련 및 미세조정을 통해 특징 추출기 성능이 크게 향상되었으며, 사전 훈련 없이 훈련한 경우 ER은 0.23에서 사전 훈련 및 미세조정 후 0.09로 감소하였다.
• 평가 세트에서 R-CRNN는 ER 0.23과 F-score 87.9%를 기록하여 베이스라인 및 R-FCN를 초월했지만, 최상위 앙상블 방법들보다는 낮았다.
• 제거 실험 결과, 사전 훈련된 CRNN의 가중치를 고정한 채로 훈련할 경우 성능이 제한됨을 확인하여, 최적의 성능을 얻기 위해 미세조정이 필수적임을 입증하였다.
• 희귀 이벤트(예: 아기 울음, 유리 부서짐, 총성)에 대해서도 강력한 일반화 성능를 보였으며, 실제 훈련 샘플 수가 적은 상황에서도 낮은 오차율을 기록하였다.