[논문 리뷰] Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Recurrent Neural Networks

Yu-An Chung, Chao-Chung Wu외 2명|arXiv (Cornell University)|2016. 03. 03.

Music and Audio Processing참고 문헌 24인용 수 33

한 줄 요약

이 논문은 LSTM 유닛을 사용한 시퀀스-투-시퀀스 오토인코더를 활용하여 가변 길이의 오디오 세그먼트에 대한 고정 차원 벡터 표현을 학습하는 비지도 학습 방법인 Audio Word2Vec을 제안한다. 인코더와 디코더를 동시에 학습시켜 복원 오차를 최소화함으로써 모델은 순차적인 음소적 구조를 포착하며, 동적 시간 왜곡(DTW)보다 우수한 성능을 보이며 계산 비용을 크게 줄인 쿼리 기반 구두어 검색(Spoken Term Detection)을 달성한다.

ABSTRACT

The vector representations of fixed dimensionality for words (in text) offered by Word2Vec have been shown to be very useful in many application scenarios, in particular due to the semantic information they carry. This paper proposes a parallel version, the Audio Word2Vec. It offers the vector representations of fixed dimensionality for variable-length audio segments. These vector representations are shown to describe the sequential phonetic structures of the audio segments to a good degree, with very attractive real world applications such as query-by-example Spoken Term Detection (STD). In this STD application, the proposed approach significantly outperformed the conventional Dynamic Time Warping (DTW) based approaches at significantly lower computation requirements. We propose unsupervised learning of Audio Word2Vec from audio data without human annotation using Sequence-to-sequence Audoencoder (SA). SA consists of two RNNs equipped with Long Short-Term Memory (LSTM) units: the first RNN (encoder) maps the input audio sequence into a vector representation of fixed dimensionality, and the second RNN (decoder) maps the representation back to the input audio sequence. The two RNNs are jointly trained by minimizing the reconstruction error. Denoising Sequence-to-sequence Autoencoder (DSA) is furthered proposed offering more robust learning.

연구 동기 및 목표

• 가변 길이의 오디오 세그먼트에 대한 고정 차원 벡터 표현을 학습하는 비지도 학습 방법을 개발하기 위해.
• 인간의 주석 없이도 의미적 및 음소적 표현 학습을 가능하게 하기 위해.
• 기존의 동적 시간 왜곡(DTW) 방법보다 쿼리 기반 구두어 검색(Spoken Term Detection, STD) 성능을 향상시키기 위해.
• 학습된 오디오 임베딩을 통해 오디오 검색 작업의 계산 요구 사항을 줄이기 위해.

제안 방법

• 시퀀스-투-시퀀스 오토인코더(SA)를 사용하며, 이는 인코더와 디코더로 구성되며, 둘 다 장기 숏텀 메모리(LSTM) 유닛으로 구현된다.
• 인코더는 입력 오디오 시퀀스를 고정 차원의 벡터 표현으로 매핑한다.
• 디코더는 학습된 벡터 표현에서 원래의 오디오 시퀀스를 재구성한다.
• 입력과 출력 시퀀스 간의 복원 오차를 최소화함으로써 모델을 엔드 투 엔드로 학습시킨다.
• 학습 중에 입력 시퀀스를 손상시켜 강건성을 향상시키기 위해, 노이즈 제거 시퀀스-투-시퀀스 오토인코더(DSA)라는 변형된 버전을 도입한다.
• 학습된 오디오 임베딩은 순차적인 음소적 구조를 포착하여 효과적인 후행 오디오 검색 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인간의 주석 없이도 오디오 세그먼트 표현의 비지도 학습이 효과적으로 이루어질 수 있는가?
• RQ2 LSTM을 사용한 시퀀스-투-시퀀스 오토인코더는 가변 길이의 오디오 세그먼트에서 음소적 및 순차적 구조를 얼마나 잘 포착할 수 있는가?
• RQ3 학습된 오디오 임베딩은 쿼리 기반 구두어 검색에서 기존의 DTW 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법은 검색 정확도를 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?

주요 결과

• 제안된 Audio Word2Vec 방법은 쿼리 기반 구두어 검색에서 기존의 동적 시간 왜곡(DTW) 접근 방식보다 뚜렷이 뛰어난 성능을 보였다.
• DTW 기반 시스템보다 훨씬 낮은 계산 요구 사항으로도 높은 검색 정확도를 달성했다.
• LSTM을 사용한 시퀀스-투-시퀀스 오토인코더는 가변 길이의 오디오 세그먼트에 대해 의미 있는 고정 차원 표현을 성공적으로 학습했다.
• 노이즈 제거 변형(DSA)은 강건성을 향상시켜, 노이즈 또는 손상된 입력 조건에서도 일반화 능력이 향상됨을 시사했다.
• 학습된 오디오 임베딩은 순차적인 음소적 구조를 효과적으로 포착하여 의미적 및 음소적 유사도 모델링을 가능하게 했다.
• 비지도 학습 프레임워크는 인간이 주석을 달지 않은 음성 전사가 없이도 유용한 오디오 표현을 성공적으로 추출했다.