[논문 리뷰] Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder

Yu-An Chung, Chao-Chung Wu외 3명|arXiv (Cornell University)|2016. 03. 03.

Music and Audio Processing참고 문헌 31인용 수 29

한 줄 요약

이 논문은 순차적-순차적 오토인코더를 사용한 양방향 LSTM을 갖춘 비지도 학습 방법인 Audio Word2Vec을 제안한다. 이 방법은 고정된 차원의 벡터 표현을 변형된 길이의 음성 세그먼트에 대해 학습한다. 기존의 DTW 기반의 예제 기반 음성 용어 검색보다 정확도와 효율성에서 뛰어나며, 노이즈 제거 변형을 통해 더욱 견고하고 성능이 향상된다.

ABSTRACT

The vector representations of fixed dimensionality for words (in text) offered by Word2Vec have been shown to be very useful in many application scenarios, in particular due to the semantic information they carry. This paper proposes a parallel version, the Audio Word2Vec. It offers the vector representations of fixed dimensionality for variable-length audio segments. These vector representations are shown to describe the sequential phonetic structures of the audio segments to a good degree, with very attractive real world applications such as query-by-example Spoken Term Detection (STD). In this STD application, the proposed approach significantly outperformed the conventional Dynamic Time Warping (DTW) based approaches at significantly lower computation requirements. We propose unsupervised learning of Audio Word2Vec from audio data without human annotation using Sequence-to-sequence Audoencoder (SA). SA consists of two RNNs equipped with Long Short-Term Memory (LSTM) units: the first RNN (encoder) maps the input audio sequence into a vector representation of fixed dimensionality, and the second RNN (decoder) maps the representation back to the input audio sequence. The two RNNs are jointly trained by minimizing the reconstruction error. Denoising Sequence-to-sequence Autoencoder (DSA) is furthered proposed offering more robust learning.

연구 동기 및 목표

• 인간의 주석 없이도 길이가 변하는 음성 세그먼트의 고정된 차원의 벡터 표현을 학습하는 것.
• 비지도 표현 학습을 통해 음성 내 순차적 음소적 구조를 포착하는 것.
• 예제 기반 음성 용어 검색(STD)의 효율성과 정확도를 향상시키는 것.
• 자기지도 학습 음성 임베딩이 NLP의 Word2Vec과 유사한 기능을 수행할 수 있는지 탐색하는 것.
• 노이즈 제거 확장 기법을 사용하여 학습된 표현의 견고성과 일반화 능력을 평가하는 것.

제안 방법

• 입력 음성 시퀀스를 고정된 차원의 잠재 벡터로 매핑하는 인코더와 잠재 코드에서 원래 시퀀스를 재구성하는 디코더를 갖춘 순차적-순차적 오토인코더(SA)를 사용한다. 두 네트워크 모두 양방향 LSTM으로 구성된다.
• 원본과 재구성된 음성 시퀀스 간의 재구성 오차를 최소화함으로써 SA를 종단 간(end-to-end)으로 학습시킨다.
• 학습 중에 입력 시퀀스를 손상시켜 노이즈 제거 순차적-순차적 오토인코더(DSA)를 적용함으로써 표현의 견고성과 일반화 능력을 향상시킨다.
• 모델의 입력으로 MFCC 특징을 사용하며, 인코더는 각 음성 세그먼트에 대해 d차원의 벡터 표현을 생성한다.
• 예제 기반 STD에서 효율적인 검색을 위해 학습된 벡터 표현 간의 코사인 유사도를 활용한다.
• 학습된 표현을 수작업 특징 기반 베이스라인(예: Naïve Encoder)과 DTW와 비교하여 검색 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 비지도 학습을 통한 음성 세그먼트 임베딩이 음성 내 의미 있는 음소적 및 순차적 구조를 포착할 수 있는가?
• RQ2 학습된 벡터 표현은 DTW나 수작업 특징 평균화와 같은 전통적 방법과 비교해 볼 때 음성 용어 검색에서 어떻게 성능을 내는가?
• RQ3 노이즈 제거 변형(DSA)이 학습된 표현의 견고성과 성능을 향상시키는가?
• RQ4 벡터 표현이 음소 교체와 같은 유추적 추론(예: 유사성)을 얼마나 잘 지원하는가?
• RQ5 DTW에 비해 훨씬 낮은 계산 비용으로 높은 검색 정확도를 달성할 수 있는가?

주요 결과

• DSA 변형은 예제 기반 음성 용어 검색에서 평균 평균 정밀도(MAP) 측면에서 SA 및 모든 Naïve Encoder 베이스라인(NE52, NE78, NE104)을 모두 능가했다.
• DSA는 약 390번의 에포크 이후에, SA는 약 450번의 에포크 이후에 모든 베이스라인을 초월했다.
• 학습된 벡터 표현은 유추적 추론을 가능하게 했으며, 음소 변화가 일관된 경우(예: 첫 번째 또는 마지막 음소 변화) 차이 벡터가 유사한 경향을 보여, 의미적 및 음소적 구조를 효과적으로 포착함을 시사했다.
• 벡터 간 유사도 계산만으로도 DTW보다 훨씬 낮은 계산 비용으로 더 뛰어난 검색 성능을 달성했다.
• 단일 음소의 차이가 나는 단어의 표현들이 유사한 위치에 근접해 있음을 통해, 학습된 표현이 순차적 음소적 구조를 효과적으로 기술함을 입증했다.
• 비지도 접근 방식은 인간 주석이 필요 없어, 자원이 제한된 음성 응용 분야에 적합하다.