[논문 리뷰] Learning audio sequence representations for acoustic event classification

Zixing Zhang, Ding Liu외 3명|arXiv (Cornell University)|2017. 07. 27.

Music and Audio Processing참고 문헌 32인용 수 13

한 줄 요약

이 논문은 음성 이벤트 분류(AEC)를 위한 가변 길이 음성 시퀀스의 고정 길이 벡터 표현을 학습하는 비지도 순환 오토인코더 프레임워크를 제안한다. 양방향 RNN 인코더-디코더를 입력 시퀀스를 재구성하도록 훈련시킴으로써 모델은 중요한 시간 패턴을 포착하며, GRU-RNN을 사용할 경우 229개의 음성 이벤트 클래스에서 47.7%의 F1 스코어와 39.0%의 UA를 기록하여 수동으로 설계된 특징들보다 뚜렷하게 뛰어난 최신 기술 성능을 달성한다.

ABSTRACT

Acoustic Event Classification (AEC) has become a significant task for machines to perceive the surrounding auditory scene. However, extracting effective representations that capture the underlying characteristics of the acoustic events is still challenging. Previous methods mainly focused on designing the audio features in a `hand-crafted' manner. Interestingly, data-learnt features have been recently reported to show better performance. Up to now, these were only considered on the frame level. In this article, we propose an unsupervised learning framework to learn a vector representation of an audio sequence for AEC. This framework consists of a Recurrent Neural Network (RNN) encoder and an RNN decoder, which respectively transforms the variable-length audio sequence into a fixed-length vector and reconstructs the input sequence on the generated vector. After training the encoder-decoder, we feed the audio sequences to the encoder and then take the learnt vectors as the audio sequence representations. Compared with previous methods, the proposed method can not only deal with the problem of arbitrary-lengths of audio streams, but also learn the salient information of the sequence. Extensive evaluation on a large-size acoustic event database is performed, and the empirical results demonstrate that the learnt audio sequence representation yields a significant performance improvement by a large margin compared with other state-of-the-art hand-crafted sequence features for AEC.

연구 동기 및 목표

• 가변 길이 음성 시퀀스에 대한 강건하고 구분 가능한 표현을 학습하는 데 있어 음성 이벤트 분류(AEC)의 과제를 해결하기 위해.
• 환경 변화에 민감하고 종종 수동 튜닝이 필요한 수동으로 설계된 특징의 한계를 극복하기 위해.
• 카테고리 레이블 없이도 대규모 비라벨 음성 데이터를 활용하는 비지도 표현 학습 프레임워크를 개발하기 위해.
• AEC에 필수적인 장거리 시간적 의존성을 포착하는 시퀀스 수준의 표현을 엔드 투 엔드로 학습할 수 있도록 하기 위해.

제안 방법

• 순차적-순차적 오토인코더 아키텍처를 사용하며, 이는 양방향 RNN 인코더와 단방향 RNN 디코더로 구성된다.
• 인코더는 가변 길이 입력 음성 시퀀스(특징 벡터 형태)를 고정 길이 봉쇄 벡터 표현으로 매핑한다.
• 디코더는 학습된 벡터 표현에서 원래 시퀀스를 재구성하며, 클래스 레이블이 전혀 없는 재구성 손실을 통해 모델을 훈련시킨다.
• 오토인코더의 입력에는 원본과 뒤집힌 특징 시퀀스가 모두 포함되어 시간 패턴 학습을 향상시킨다.
• 확률적 경사 하강법를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 봉쇄 층 출력을 최종 음성 시퀀스 표현으로 사용한다.
• 훈련 후, 인코더는 새로운 음성 시퀀스에서 고정 길이 표현을 추출하여 후속 분류 작업에 활용된다.

실험 결과

연구 질문

• RQ1 비지도 딥 러닝 프레임워크는 음성 이벤트 분류를 위한 가변 길이 음성 시퀀스에 대해 압축되고 정보가 풍부한 표현을 효과적으로 학습할 수 있는가?
• RQ2 학습된 시퀀스 표현의 성능는 MFCC, eGeMAPS, AVEC11와 같은 전통적인 수동으로 설계된 특징들과 비교해 어떻게 되는가?
• RQ3 제안된 방법은 특히 훈련 샘플이 적은 이벤트 클래스들에 대해 얼마나 잘 일반화되는가?
• RQ4 학습된 표현은 시퀀스 수준의 특징이나 고정 길이 풀링 전략보다 장거리 시간적 의존성을 더 잘 포착할 수 있는가?

주요 결과

• 제안된 방법은 GRU-RNN을 사용하여 229개의 음성 이벤트 클래스에서 47.7%의 F1 스코어와 39.0%의 무게화되지 않은 정확도(UA)를 기록하였으며, 모든 수동으로 설계된 특징 세트보다 뚜렷하게 뛰어난 성능을 보였다.
• 검토된 RNN 기반 오토인코더 변종들 중에서 ED:2048-1 설정이 가장 뛰어난 성능를 보였으며, 일부 지표에서 2D-CNN 및 어텐션 기반 모델들조차도 능가하였다.
• 학습된 표현은 SVM 및 GRU-RNN 분류기 모두에서 BoAW, eGeMAPS, AVEC11, ComParE13 등의 기준 특징들보다 일관되게 뛰어난 성능를 보였다.
• LDA를 사용한 시각화 결과에서 학습된 표현 공간에서 분명한 클래스 간 분리가 관찰되어 효과적인 구분 가능한 학습이 이루어졌음을 시사했다.
• 이 프레임워크는 가변 길이 입력에 대해 강건했으며, 장기간의 시퀀스를 핵심 이벤트 특징을 유지하면서도 고정 차원의 벡터로 효과적으로 압축하였다.
• 결과적으로, 순차적 재구성에 의한 비지도 사전 훈련은 AEC에서 일반 목적의 음성 표현을 학습하는 데 강력한 전략임을 시사한다.