[논문 리뷰] Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data

Anurag Kumar, Bhiksha Raj|arXiv (Cornell University)|2017. 07. 09.

Music and Audio Processing참고 문헌 19인용 수 25

한 줄 요약

이 논문은 웹 오디오 데이터에서 약한 레이블(오디오 이벤트 존재/부재)만 제공되는 상황에서 직접 오디오 이벤트 인식자 학습을 위한 딥 컨volution 신경망(CNN) 프레임워크를 제안한다. 이 방법은 전역 평균 풀링과 세그먼트 수준 분류를 사용하는 계층적 CNN 아키텍처를 통해 다양한 길이의 녹음 파일에서 엔드 투 엔드 학습을 가능하게 하며, Audioset에서 최신 기술 수준의 성능을 달성한다. 또한 강한 레이블 데이터로 학습된 모델보다 우수한 성능을 내며, 학습 시 진짜 타임스탬프가 없더라도 시간적 국소화가 가능하다.

ABSTRACT

The development of audio event recognition systems require labeled training data, which are generally hard to obtain. One promising source of recordings of audio events is the large amount of multimedia data on the web. In particular, if the audio content analysis must itself be performed on web audio, it is important to train the recognizers themselves from such data. Training from these web data, however, poses several challenges, the most important being the availability of labels: labels, if any, that may be obtained for the data are generally weak, and not of the kind conventionally required for training detectors or classifiers. We propose that learning algorithms that can exploit weak labels offer an effective method to learn from web data. We then propose a robust and efficient deep convolutional neural network (CNN) based framework to learn audio event recognizers from weakly labeled data. The proposed method can train from and analyze recordings of variable length in an efficient manner and outperforms a network trained with strongly labeled web data by a considerable margin. Moreover, even though we learn from weakly labeled data, where event time stamps within the recording are not available during training, our proposed framework is able to localize events during the inference stage.

연구 동기 및 목표

• 유튜브와 같은 소스에서 오는 약한 레이블이 부여된 웹 오디오 데이터를 활용하여 대규모 강한 레이블이 부여된 오디오 이벤트 데이터셋의 부족 문제를 해결한다.
• 정확한 시간적 경계 정보가 필요 없이 웹리 레이블 데이터에서 효과적으로 학습할 수 있는 딥 러닝 프레임워크를 개발한다.
• 고정 길이 세그먼트로 나누지 않고도 다양한 길이의 오디오 녹음 파일에서 효율적인 학습과 추론을 가능하게 한다.
• 이벤트 경계 레이블이 없는 학습 데이터에서도 정확한 오디오 이벤트 인식과 시간적 국소화를 달성한다.
• 약한 레이블이 부여된 웹 오디오 데이터로 학습된 모델이 실생활 노이즈 환경에서 강한 레이블 데이터로 학습된 모델보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 원시 웨이브포맷에서 계층적 오디오 특징을 추출하기 위해 다수의 컨volution 및 풀링 레이어를 포함한 딥 CNN을 사용한다.
• 전체 녹음 파일의 이벤트 존재 여부를 나타내는 약한 레이블에 기반해, 세그먼트 수준 출력에 대한 전역 평균 풀링을 통해 각 녹음 파일에 대해 하나의 예측을 생성함으로써 약한 레이블에서 엔드 투 엔드 학습을 가능하게 한다.
• 최종 컨볼루션 레이어(F3)의 세그먼트 수준 활성화 값을 활용하여 수신 영역을 입력 시간 프레임에 다시 매핑함으로써 시간적 국소화를 추론한다.
• 전체 녹음 파일 내 이벤트 존재 여부를 나타내는 약한 레이블에 기반해 이진 교차 엔트로피 손실을 사용하여 모델을 학습한다.
• 사전 분할 없이도 다양한 길이의 입력을 처리할 수 있도록 설계되어, 계산 효율성과 학습의 유연성을 향상시킨다.
• 두 단계 학습 프로세스를 사용한다: 첫 번째로, 네트워크는 약한 레이블이 부여된 대규모 웹 데이터셋에서 사전 학습된다; 두 번째로, 성능 향상을 위해 더 작은 강한 레이블이 부여된 데이터셋에서 미세 조정된다.

실험 결과

연구 질문

• RQ1 정확한 시간적 경계 정보가 없이도 약한 레이블이 부여된 웹 오디오 데이터에서 딥 CNN 프레임워크가 오디오 이벤트 인식을 효과적으로 학습할 수 있는가?
• RQ2 특히 노이즈가 많고 실생활 조건에서, 웹리 레이블 데이터로 학습하는 것이 강한 레이블 데이터로 학습하는 것보다 인식 정확도에서 뛰어나게 되는가?
• RQ3 오직 약한 레이블만을 사용해 학습된 모델이 추론 시 의미 있는 시간적 국소화를 달성할 수 있는가?
• RQ4 웹 오디오로 학습된 모델의 성능은 체계적으로 레이블이 부여된 데이터셋인 Urbansounds와 비교해 어떻게 되는가?
• RQ5 제안된 프레임워크가 웹 데이터에서 흔히 발생하는 다양한 길이의 녹음 파일과 노이즈, 겹치는 오디오 이벤트를 얼마나 잘 처리하는가?

주요 결과

• 약한 레이블이 부여된 유튜브 데이터로 학습된 제안된 프레임워크는 강한 레이블이 부여된 데이터로 학습된 모델 대비 평균 평균 정밀도(mAP)에서 21%의 상대적 향상을 달성했다.
• 에어컨, 자동차 경적, 드릴링과 같은 이벤트의 경우, 웹리 레이블 데이터로 학습했을 때 AP의 상대적 향상률은 63%에서 96%에 이르렀다.
• Audioset 테스트 세트에서, 유튜브 웹 데이터로 학습된 모델은 mAP에서 Urbansounds 데이터셋으로 학습된 모델보다 9% 높았고, MAUC에서는 2.5% 높았다.
• 자동차 경적과 개 짖는 소리의 경우, Urbansounds로 학습된 모델 대비 각각 57% 이상, 31% 이상의 향상률을 보였으며, 이는 복잡한 실생활 이벤트에 대해 웹 데이터의 이점을 잘 보여준다.
• 학습 시 진짜 타임스탬프가 없음에도 불구하고, 세그먼트 수준 활성화 맵을 활용해 추론 시 이벤트를 성공적으로 국소화했다.
• 노이즈와 겹치는 이벤트에 대해 강건성을 보이며, 도전적인 비정형 웹 오디오 데이터에서 강한 레이블 기반 기준 모델을 능가하는 성능을 보였다.