[논문 리뷰] Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches

Shane Settle, Karen Livescu|arXiv (Cornell University)|2016. 11. 08.

Music and Audio Processing참고 문헌 24인용 수 41

한 줄 요약

이 논문은 구분 손실을 사용해 훈련된 순환 신경망(RNN) 기반의 음성 단어 임베딩을 제안한다—구체적으로 시아모이드 네트워크 설정에서의 대비 손실과 분류기 설정에서의 교차 엔트로피 손실을 사용하여 음성에서의 단어 식별을 향상시킨다. 시아모이드 RNN 모델은 이전의 CNN 기반 방법들과 분류기 기반 RNN들을 능가하며, 단어 식별 작업에서 최신 기술 수준의 성능을 달성한다. 낮은 임베딩 차원에서도 강건한 성능을 보이며, 예측되지 않은 단어로의 일반화 능력도 뛰어나다.

ABSTRACT

Acoustic word embeddings --- fixed-dimensional vector representations of variable-length spoken word segments --- have begun to be considered for tasks such as speech recognition and query-by-example search. Such embeddings can be learned discriminatively so that they are similar for speech segments corresponding to the same word, while being dissimilar for segments corresponding to different words. Recent work has found that acoustic word embeddings can outperform dynamic time warping on query-by-example search and related word discrimination tasks. However, the space of embedding models and training approaches is still relatively unexplored. In this paper we present new discriminative embedding models based on recurrent neural networks (RNNs). We consider training losses that have been successful in prior work, in particular a cross entropy loss for word classification and a contrastive loss that explicitly aims to separate same-word and different-word pairs in a "Siamese network" training setting. We find that both classifier-based and Siamese RNN embeddings improve over previously reported results on a word discrimination task, with Siamese RNNs outperforming classification models. In addition, we present analyses of the learned embeddings and the effects of variables such as dimensionality and network structure.

연구 동기 및 목표

• 말하는 단어 조각들 사이의 의미적 유사성과 발음 유사성을 포착하는 분류 가능한 음성 단어 임베딩(AWEs)을 학습하기 위한 RNN 기반 모델의 효과성을 탐색한다.
• 대비 손실을 사용한 시아모이드 네트워크와 교차 엔트로피 손실을 사용한 분류기 기반 훈련이라는 두 가지 훈련 철학을 비교한다.
• 네트워크 깊이, 임베딩 차원 수, 훈련 어휘의 빈도가 AWE 성능에 미치는 영향을 평가한다.
• 특히 유사하거나 다름없는 발음의 단어들 간의 상대적 거리를 유지하는 능력에 초점을 맞춰 학습된 임베딩의 구조와 기하학적 특성 분석한다.

제안 방법

• 논문은 가변 길이의 음성 세그먼트를 고정된 차원의 임베딩으로 인코딩하기 위해 깊이 있는 LSTM과 GRU 기반 RNN을 사용한다.
• 두 가지 유형의 모델을 훈련한다: 동일 단어(내부 클래스) 간의 거리를 최소화하고, 다른 단어(외부 클래스) 간의 거리를 최대화하기 위해 대비 손실을 사용하는 시아모이드 네트워크와, 단어 정체성을 예측하기 위해 교차 엔트로피 손실을 사용하는 분류기.
• 시아모이드 네트워크는 훈련 예제의 가능한 모든 쌍을 대상으로 훈련되어, 훈련 신호를 효과적으로 증가시키며 상대적인 단어 유사성 모델링 능력을 향상시킨다.
• 네트워크 아키텍처는 스택된 RNN 레이어(최대 3개)와 완전 연결 레이어로 구성되며, 레이어 수와 성능에 미치는 영향을 분석하기 위한 분석 실험을 실시한다.
• 임베딩 품질은 단어 식별 작업에서 평균 정밀도(AP)를 사용해 평가되며, 군집 구조와 군집 간 거리 분석을 위해 t-SNE 시각화가 함께 사용된다.
• 실험은 표준 벤치마크 데이터셋에서 수행되며, 이전의 CNN 기반 AWEs 및 동적 시간 왜곡(DTW)과 같은 기준 방법과의 성능 비교를 포함한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델은 단어 식별 작업에서 이전의 CNN 기반 음성 단어 임베딩을 능가할 수 있는가?
• RQ2 대비 손실을 사용한 시아모이드 훈련 방식은 교차 엔트로피 손실을 사용한 분류기 기반 훈련 방식보다 예측되지 않은 단어로의 일반화 능력이 뛰어나게 되는가?
• RQ3 스택된 RNN 레이어 수와 완전 연결 레이어 수와 같은 아키텍처 선택 사항이 학습된 임베딩의 품질에 어떤 영향을 미치는가?
• RQ4 임베딩은 차원 수 감소에 얼마나 강건한가? 양호한 성능을 내기 위한 최소 효과적 차원은 얼마인가?
• RQ5 훈련 주파수와 단어 노출 수가 임베딩 품질에 미치는 영향은 무엇이며, 특히 희귀어나 예측되지 않은 단어에 대해선 어떠한가?

주요 결과

• 대비 손실을 사용한 시아모이드 RNN 모델은 개발 세트에서 가장 높은 평균 정밀도를 기록했으며, 분류기 기반 RNN과 이전의 CNN 기반 AWEs를 모두 능가했다.
• 모든 임베딩 차원 수 ≥16에서 시아모이드 RNN이 뛰어난 성능을 보였으며, 각 차원에서 이전에 보고된 CNN 기반 결과를 초월했다.
• 3개의 스택된 RNN 레이어와 2~3개의 완전 연결 레이어를 가진 모델이 최고의 성능을 기록했으며, 이는 완전 연결 레이어가 추가 스택된 RNN 레이어보다 더 큰 영향을 미친다는 것을 시사한다.
• 단어의 훈련 빈도가 높을수록 성능이 향상되었으며, 쌍 기반 훈련 체계 덕분에 시아모이드 모델이 빈도 증가에서 더 큰 이점을 얻었다.
• t-SNE 시각화 결과, 시아모이드 임베딩은 특히 'programs'와 'problem'처럼 유사하거나 다름없는 발음을 가진 단어들 간의 상대적 거리를 더 잘 유지하는 것으로 나타났다.
• 분류기 기반 접근 방식보다 예측되지 않은 단어로의 일반화 능력이 뛰어나, 대비 학습이 정체성 분류를 넘어서 내재된 단어 유사성을 더 잘 포착한다는 것을 시사한다.