[논문 리뷰] Attention and Localization based on a Deep Convolutional Recurrent Model for Weakly Supervised Audio Tagging

Yong Xu, Qiuqiang Kong외 3명|arXiv (Cornell University)|2017. 03. 17.

Music and Audio Processing참고 문헌 25인용 수 7

한 줄 요약

이 논문은 청각 태깅을 위해 조각 수준 레이블만을 사용하는 약한 감독 기반의 딥 컨volution 리커런트 모델을 제안한다. 주의 메커니즘을 통해 관련 프레임을 강조하고, 전용 국소화 모듈을 통합함으로써, DCASE 2016 Task 4 평가 세트에서 등오류율(EER)을 0.13에서 0.11로 감소시켜 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 초음파 프레임 수준의 레이블 없이도 사건 발생 위치를 탐지할 수 있음을 의미한다.

ABSTRACT

Audio tagging aims to perform multi-label classification on audio chunks and it is a newly proposed task in the Detection and Classification of Acoustic Scenes and Events 2016 (DCASE 2016) challenge. This task encourages research efforts to better analyze and understand the content of the huge amounts of audio data on the web. The difficulty in audio tagging is that it only has a chunk-level label without a frame-level label. This paper presents a weakly supervised method to not only predict the tags but also indicate the temporal locations of the occurred acoustic events. The attention scheme is found to be effective in identifying the important frames while ignoring the unrelated frames. The proposed framework is a deep convolutional recurrent model with two auxiliary modules: an attention module and a localization module. The proposed algorithm was evaluated on the Task 4 of DCASE 2016 challenge. State-of-the-art performance was achieved on the evaluation set with equal error rate (EER) reduced from 0.13 to 0.11, compared with the convolutional recurrent baseline system.

연구 동기 및 목표

• 프레임 수준의 레이블이 없이도 조각 수준의 레이블만으로 청각 태깅 문제를 해결하는 것.
• 프레임 수준의 감독 없이도 오디오 클립 내 음향 사건의 시간적 국소화를 가능하게 하는 것.
• 주의 메커니즘을 통해 관련 오디오 세그먼트에 집중함으로써 청각 태깅의 강건성과 정확도를 향상시키는 것.
• 단지 조각 수준의 레이블만을 사용하는 약한 감독 학습 프레임워크를 개발하여, 끝에서 끝까지의 훈련을 통해 사건 위치를 추론하는 것.
• 컨volutional 게이팅 리커런트 신경망(CGRNN) 아키텍처 내에서 주의 및 국소화 모듈을 통합한 프레임워크의 효과를 입증하는 것.

제안 방법

• 특징 추출 및 시퀀스 모델링을 위해 백본으로 조각 수준의 컨volutional 게이팅 리커런트 신경망(CGRNN)을 사용한다.
• Sigmoid 활성화를 사용하여 프레임 수준의 특징에 대해 학습 가능한 가중치를 적용하는 주의 모듈을 통합한다. 이는 중요한 프레임을 강조하고 노이즈를 억제한다.
• 7개의 출력 노드를 갖는 국소화 모듈을 구현하여, 각 노드는 7개의 오디오 사건 태그 중 하나에 대응하여 시간적 사건 위치를 예측한다.
• 단지 조각 수준의 레이블만을 사용하여 모델을 끝에서 끝까지 훈련시키며, 약한 감독을 통해 잠재적인 프레임 수준의 사건 위치를 추론하도록 한다.
• 시간 연속성을 유지하고 국소화 정확도를 향상시키기 위해, 겹치는 프레임(50% 겹침)을 모델의 입력으로 사용한다.
• CNN 레이어에서 ReLU 활성화를 적용하고, 강건한 특징 학습을 위해 맥스 풀링을 수행한 후, 양방향 GRU를 사용하여 시퀀스 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 단지 조각 수준의 레이블만 존재할 때, 주의 메커니즘이 사건 탐지에 적합한 오디오 프레임을 효과적으로 식별할 수 있는가?
• RQ2 프레임 수준의 레이블 없이도, 약한 감독 기반의 딥 러닝 모델이 오디오 클립 내 음향 사건을 국소화할 수 있는가?
• RQ3 제안된 주의 및 국소화 프레임워크는 기준 모델 대비 청각 태깅 성능과 국소화 정확도 측면에서 어떻게 비교되는가?
• RQ4 주의 메커니즘이 약한 감독 기반 청각 태깅에서 배경 노이즈와 관련 없는 세그먼트에 대해 얼마나 강건한가?
• RQ5 모델이 사건을 국소화할 수 있는 능력이 '어린이 말하기'와 같은 빈번한 사건에 대한 성능 향상과 관련이 있는가?

주요 결과

• 제안된 ATT-LOC 방법은 DCASE 2016 평가 세트에서 평균 등오류율(EER) 0.11을 달성하여, 기준 CGRNN 모델의 0.13에서 향상되었다.
• 모델은 '어린이 말하기' 사건에 대해 성능을 크게 향상시켰으며, 개발 세트에서는 EER을 0.17에서 0.09로, 평가 세트에서는 0.21에서 0.09로 감소시켰다.
• 주의 가중치는 '어린이 말하기' 및 '타악기 소리'와 같은 관련 세그먼트를 효과적으로 강조하였고, 관련 없는 프레임은 억제하였다. 모든 주의 가중치 값이 0.5를 초과하였다.
• 국소화 모듈은 단일 오디오 클립 내에서 '타악기 소리' 및 '어린이 말하기'와 같은 사건의 여러 인스턴스를 성공적으로 식별하였으며, 스펙트로그램과 예측 출력의 시각적 점검을 통해 확인되었다.
• 모델는 배경 노이즈에 대해 강건성을 보였으며, 단지 조각 수준의 레이블로만 훈련되었음에도 불구하고 주목할 만한 사건 세그먼트에 집중하였다.
• 이 프레임워크는 약한 감독 기반 국소화를 가능하게 하여, 프레임 수준의 레이블 없이도 조각 수준의 레이블만으로도 프레임 수준의 사건 위치를 추론할 수 있다. 이는 실생활 응용에서 프레임 수준의 레이블링 비용이 높은 상황에서 매우 유용하다.