[논문 리뷰] Large-scale weakly supervised audio classification using gated convolutional neural network

Yong Xu, Qiuqiang Kong외 2명|View|2017. 10. 01.

Music and Audio Processing참고 문헌 13인용 수 13

한 줄 요약

이 논문은 시간적 주의 메커니즘을 갖춘 게이팅 컨볼루션 리커런트 신경망(Gated-CRNN)을 제안하며, 로그 멜 스펙트로그램과 학습 가능한 게이팅 선형 유닛(GLUs)을 사용하여 관련 음성 특징에 동적으로 주의를 기울입니다. 이 방법은 DCASE 2017 오디오 태깅 하위 과제에서 1등(F1: 55.6%)을 기록했고, 약한 감독을 받는 사운드 이벤트 탐지 과제에서 2등(EER: 0.73)을 기록하여 타임스탬프가 없는 YouTube 오디오 데이터에 대해 약한 레이블링 조건에서도 뛰어난 성능을 보였습니다.

ABSTRACT

In this paper, we present a gated convolutional neural network and a temporal attention-based localization method for audio classification, which won the 1st place in the large-scale weakly supervised sound event detection task of Detection and Classification of Acoustic Scenes and Events (DCASE) 2017 challenge. The audio clips in this task, which are extracted from YouTube videos, are manually labeled with one or a few audio tags but without timestamps of the audio events, which is called as weakly labeled data. Two sub-tasks are defined in this challenge including audio tagging and sound event detection using this weakly labeled data. A convolutional recurrent neural network (CRNN) with learnable gated linear units (GLUs) non-linearity applied on the log Mel spectrogram is proposed. In addition, a temporal attention method is proposed along the frames to predicate the locations of each audio event in a chunk from the weakly labeled data. We ranked the 1st and the 2nd as a team in these two sub-tasks of DCASE 2017 challenge with F value 55.6\% and Equal error 0.73, respectively.

연구 동기 및 목표

• 타임스탬프가 없는 타임스탬프가 없는 사운드 이벤트 경계 정보 없이 오직 오디오 태그만 제공되는 약한 레이블링된 데이터를 사용한 대규모 오디오 분류 과제를 해결합니다.
• 표준 CNN과 RNN이 짧은 지속 시간의 오디오 이벤트에 집중하는 데 한계가 있음을 고려해, 학습 가능한 주의 메커니즘을 도입함으로써 이를 극복합니다.
• 타임스탬프가 없는 데이터를 요구하지 않는 통합 딥 러닝 프레임워크를 개발하여 오디오 태깅과 약한 감독을 받는 사운드 이벤트 탐지 작업을 동시에 수행합니다.
• CRNN 아키텍처에 게이팅 선형 유닛(GLUs)과 시간적 주의 모듈을 통합하여 특징 표현과 국소화 정확도를 향상시킵니다.

제안 방법

• 목표 오디오 이벤트에 대한 관련성을 기반으로 동적으로 주의를 기울일 수 있도록, 컨볼루션 레이어에서 ReLU 활성화 함수를 학습 가능한 게이팅 선형 유닛(GLUs)으로 대체합니다.
• 원시 오디오 웨이브포맷을 로그 멜 스펙트로그램으로 변환한 후, 64개 필터와 3×3 커널 크기를 갖는 3개의 게이팅 컨볼루션 블록 스택에 입력합니다.
• 사용 목적에 따라(오디오 태깅 vs. SED) 2×2 또는 1×2 커널 크기의 맥스 풀링을 적용한 후, 장기적인 시간적 의존성을 모델링하기 위해 128개의 유닛을 갖는 양방향 게이팅 순환 신경망(Bi-GRU)을 적용합니다.
• 프레임 간 주의 가중치를 생성하는 시간적 주의 메커니즘을 도입하여 오디오 청크 내에서 사운드 이벤트를 국소화하고, 지표가 없는 타임스탬프 없이도 약한 감독 탐지가 가능하게 합니다.
• Adam 최적화를 사용한 이진 교차 엔트로피 손실로 모델을 훈련하고, 클래스 불균형 문제를 개선하기 위해 미니배치 데이터 균형 조정을 적용합니다.
• 로그 멜과 MFCC 특징으로 학습된 모델의 융합은 일반화 성능을 향상시켜 두 하위 과제에서 최고 성능을 기록했습니다.

실험 결과

연구 질문

• RQ1 학습 가능한 게이팅 선형 유닛(GLUs)이 관련된 시간-주파수 유닛에만 집중함으로써 오디오 분류의 특징 표현을 향상시킬 수 있는가?
• RQ2 오디오 태그만 제공되고 시간적 애너테이션이 없는 조건에서, 통합된 딥 러닝 모델이 오디오 태깅과 약한 감독을 받는 사운드 이벤트 탐지 작업을 효과적으로 수행할 수 있는가?
• RQ3 순환층 이후에 적용된 시간적 주의 메커니즘이, 약한 레이블링된 데이터에서 짧은 지속 시간의 사운드 이벤트 국소화 정확도를 향상시키는가?
• RQ4 DCASE 2017 대회에서 제안된 Gated-CRNN은 F1 점수와 오류율 측면에서 기준 모델에 비해 어떻게 성능을 냈는가?

주요 결과

• 제안된 Gated-CRNN는 로그 멜 스펙트로그램을 사용하여 오디오 태깅 하위 과제에서 평가 세트에서 F1 점수 55.6%를 기록했으며, DCASE 2017 대회에서 1등을 차지했습니다.
• 로그 멜과 MFCC 특징으로 학습된 Gated-CRNN 모델의 융합은 오디오 태깅 과제에서 F1 점수 57.7%를 기록했으며, 2등 시스템보다 3%포인트 높은 성능을 보였습니다.
• 약한 감독을 받는 사운드 이벤트 탐지 과제에서 Gated-CRNN 시스템은 등가 오류율(EER) 0.73과 F1 점수 51.8%를 기록했으며, 팀 중 2등을 기록했습니다.
• 시간적 주의 메커니즘이 '기차'와 '기차 경적'과 같은 사운드 이벤트를 높은 정확도로 국소화하는 데 성공했지만, 짧은 세그먼트에서는 소규모 오발동작가 발생했습니다.
• 미니배치 데이터 균형 조정을 적용함으로써 F1, 정밀도, 재현율 점수가 뚜렷이 향상되어, 약한 레이블링 오디오 데이터의 클래스 불균형 문제 해결에 있어 그 중요성을 입증했습니다.
• SED 하위 과제에서 DCASE 2017 기준 모델(F1: 28.4%)보다 20%포인트 이상 높은 성능을 기록하여, 제안된 아키텍처와 주의 메커니즘이 효과적임을 확인했습니다.