[논문 리뷰] Fully DNN-based Multi-label regression for audio tagging

Yong Xu, Qiang Huang외 3명|arXiv (Cornell University)|2016. 06. 24.

Music and Audio Processing참고 문헌 24인용 수 12

한 줄 요약

이 논문은 오디오 태깅을 위해 청크 수준의 레이블만을 사용하는 완전히 딥 네트워크(DNN)-기반 다중 레이블 회귀 프레임워크를 제안한다. DNN를 오디오 시퀀스를 다중 태그 벡터로 매핑하는 인코딩 함수로 간주한다. 이는 DCASE 2016 GMM 기준선 대비 등오차율(EER)에서 15%의 상대적 향상을 달성하며, 장기적 시간적 모델링, 딥 피라미드 특징 추출기, 드롭아웃, 노이즈 인식 학습 등에 의해 성과 향상이 이뤄진다.

ABSTRACT

Acoustic event detection for content analysis in most cases relies on lots of labeled data. However, manually annotating data is a time-consuming task, which thus makes few annotated resources available so far. Unlike audio event detection, automatic audio tagging, a multi-label acoustic event classification task, only relies on weakly labeled data. This is highly desirable to some practical applications using audio analysis. In this paper we propose to use a fully deep neural network (DNN) framework to handle the multi-label classification task in a regression way. Considering that only chunk-level rather than frame-level labels are available, the whole or almost whole frames of the chunk were fed into the DNN to perform a multi-label regression for the expected tags. The fully DNN, which is regarded as an encoding function, can well map the audio features sequence to a multi-tag vector. A deep pyramid structure was also designed to extract more robust high-level features related to the target tags. Further improved methods were adopted, such as the Dropout and background noise aware training, to enhance its generalization capability for new audio recordings in mismatched environments. Compared with the conventional Gaussian Mixture Model (GMM) and support vector machine (SVM) methods, the proposed fully DNN-based method could well utilize the long-term temporal information with the whole chunk as the input. The results show that our approach obtained a 15% relative improvement compared with the official GMM-based method of DCASE 2016 challenge.

연구 동기 및 목표

• 프레임 수준의 레이블이 아닌 청크 수준의 약한 레이블 데이터를 활용하여 수동으로 주석 처리된 오디오 데이터의 제한을 극복한다.
• 이벤트를 독립적으로 다루고 맥락적 관계를 忽시하는 기존 모델(GMM, SVM 등)의 한계를 극복한다.
• 다중 레이블 태깅을 위해 오디오에서 장기적 시간적 의존성을 효과적으로 포착할 수 있는 딥 러닝 프레임워크를 개발한다.
• 드롭아웃과 같은 정규화 기법과 노이즈 인식 학습을 통해 환경 불일치 상황에서도 일반화 능력을 향상시킨다.

제안 방법

• 원시 또는 추출된 오디오 특징 시퀀스를 다중 태그 출력 벡터로 매핑하기 위해 완전히 연결된 DNN를 회귀 설정에서 인코딩 함수로 사용한다.
• 프레임을 개별적으로 처리하는 대신, 오디오 청크의 전체 또는 거의 모든 프레임을 DNN에 입력하여 장기적 시간적 맥락을 유지한다.
• 층의 크기를 점진적으로 감소시키는 딥 피라미드 구조를 설계하여 강력하고 고수준의 특징을 추출하면서 관련 없는 노이즈와 간섭을 억제한다.
• 일반화 능력을 향상시키고 훈련 데이터에서 과적합을 줄이기 위해 드롭아웃 정규화를 적용한다.
• 미리 알 수 없는 또는 환경이 불일치하는 청각 환경에서도 강건성을 높이기 위해 배경 노이즈 인식 학습을 통합한다.
• 다중 레이블 회귀 손실을 사용하여 DNN를 엔드 투 엔드로 훈련시키며, 동시에 발생하는 여러 오디오 태그의 공동 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 완전히 DNN 기반의 회귀 프레임워크가 청크 수준의 레이블만을 사용하는 경우 기존의 GMM 및 SVM 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 청크 수준의 장기적 시간적 맥락은 프레임 수준 또는 독립적인 이벤트 모델링 대비 다중 레이블 태깅 성능 향상에 얼마나 기여하는가?
• RQ3 딥 피라미드 구조는 관련 없는 노이즈를 걸러내면서 오디오 태깅을 위한 강력하고 고수준의 특징을 얼마나 효과적으로 추출하는가?
• RQ4 드롭아웃과 노이즈 인식 학습이 실제 환경에서의 불일치 상황에서 일반화 능력을 얼마나 크게 향상시키는가?
• RQ5 제안된 DNN 프레임워크는 공식 DCASE 2016 GMM 기준선 대비 상당한 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 완전히 DNN 기반의 방법은 공식 DCASE 2016 GMM 기준선 대비 평균 등오차율(EER)에서 15%의 상대적 향상을 달성했다.
• DNN 모델은 GMM의 평균 EER 0.210을 0.1785로 감소시켰으며, 가장 성능이 뛰어난 태그('v': 어린이의 말)의 경우 EER는 0.0530을 기록했다.
• 이 방법은 MI-SVM 기준선보다 모든 태그에서 뚜렷한 우월성을 보였으며, 평균 EER는 MI-SVM의 0.5474 대비 DNN의 0.1785로 향상되었다.
• 모델는 강력한 일반화 능력을 보였으며, 전체 개발 세트로 훈련한 후 평가 세트에서 최종 EER가 19.0%를 기록했다.
• 딥 피라미드 구조와 노이즈 인식 학습이 어려운 태그인 'f'(여성의 말)와 'o'(기타 식별 가능한 소리)에 대해 특히 강건성을 향상시켰다.