[논문 리뷰] Multi-view Recurrent Neural Acoustic Word Embeddings

Wanjia He, Weiran Wang외 1명|arXiv (Cornell University)|2016. 11. 14.

Speech Recognition and Synthesis인용 수 33

한 줄 요약

이 논문은 양방향 LSTM와 대비 손실을 사용하여 청각적 및 철자적 단어 임베딩을 동시에 학습하는 다중 시각 순환 신경망 프레임워크를 제안한다. 쌍으로 구성된 음성 및 문자 시퀀스로 훈련함으로써 모델은 단어 식별 성능을 향상시키고 교차 시각 작업을 가능하게 하며, 비용 감수성 손실이 임베딩 거리와 철자 편집 거리 간의 정렬을 더 잘 이끌어낸다.

ABSTRACT

Recent work has begun exploring neural acoustic word embeddings---fixed-dimensional vector representations of arbitrary-length speech segments corresponding to words. Such embeddings are applicable to speech retrieval and recognition tasks, where reasoning about whole words may make it possible to avoid ambiguous sub-word representations. The main idea is to map acoustic sequences to fixed-dimensional vectors such that examples of the same word are mapped to similar vectors, while different-word examples are mapped to very different vectors. In this work we take a multi-view approach to learning acoustic word embeddings, in which we jointly learn to embed acoustic sequences and their corresponding character sequences. We use deep bidirectional LSTM embedding models and multi-view contrastive losses. We study the effect of different loss variants, including fixed-margin and cost-sensitive losses. Our acoustic word embeddings improve over previous approaches for the task of word discrimination. We also present results on other tasks that are enabled by the multi-view approach, including cross-view word discrimination and word similarity.

연구 동기 및 목표

• 외부 어휘에 속하지 않는 단어를 다루기 어려운 단일 시각 청각적 단어 임베딩의 한계를 해결하고, 철자 형태와의 의미적 정렬을 확보한다.
• 청각적 파형과 해당하는 문자 시퀀스 양측에서의 표현을 공동으로 학습하여 청각적 단어 임베딩의 품질을 향상시킨다.
• 공유된 정렬된 임베딩을 통해 단일 시각(청각 또는 텍스트) 및 교차 시각(청각에서 텍스트로) 작업을 모두 가능하게 한다.
• 고정 마진 및 비용 감수성 변형을 포함한 다양한 대비 손실 함수를 탐색하여 임베딩 공간의 구조를 최적화한다.
• 다중 시각 접근 방식이 동일한 단어의 임베딩을 더 단단히 군집화하고, 볼 수 없는 단어로의 일반화 성능을 향상시킴을 입증한다.

제안 방법

• 청각적 시퀀스(파형 프레임)와 문자 시퀀스(철자 체계)를 고정 차원의 임베딩으로 변환하기 위해 깊이 있는 양방향 LSTM 네트워크를 사용한다.
• 일치하는(동일한 단어) 및 불일치하는(다른 단어) 쌍의 임베딩을 비교하는 다중 시각 대비 손실을 사용하여 모델을 훈련시킨다.
• 두 가지 손실 변형을 구현한다: 서로 다른 단어 쌍 간의 최소 거리를 강제하는 고정 마진 대비 손실과, 진정한 철자 편집 거리를 통합하는 비용 감수성 손실.
• 동일한 단어의 임베딩은 가까이, 다른 단어의 임베딩은 멀리 있도록 공동 임베딩 공간을 최적화하며, 비용 감수성 손실은 청각/철자 유사도를 반영하도록 거리가 유도되도록 한다.
• t-SNE 시각화를 적용하여 학습된 공간에서 임베딩의 군집화 행동을 분석한다.
• 모두의 표현 학습이 일관되게 이루어지도록 양방향 모달리티에 공유 가중치를 사용하는 시아미즈 유사 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 단일 시각 접근 방식에 비해 청각적 단어 식별 작업 성능을 향상시키기 위해 청각적 및 철자적 단어 임베딩을 공동으로 학습할 수 있는가?
• RQ2 고정 마진 대비 손실과 비용 감수성 대비 손실 간의 차이는 학습된 청각적 단어 임베딩의 품질과 구조에 어떤 영향을 미치는가?
• RQ3 학습된 청각적 및 텍스트 임베딩은 공유된 임베딩 공간에서 얼마나 잘 정렬되어 있으며, 교차 시각 작업(예: 청각에서 텍스트로의 단어 검색)에 서로 대체 가능하게 사용될 수 있는가?
• RQ4 모델은 이전에 볼 수 없었던 단어로 일반화하는 데 효과적으로 작동하는가? 볼 수 있었던 단어로 훈련된 모델과 성능를 비교하면 어떻게 되는가?
• RQ5 학습된 임베딩 거리는 단어 간 철자 편집 거리와 의미적으로 관련이 있는가?

주요 결과

• 다중 시각 접근 방식은 이전의 단일 시각 방법에 비해 청각적 단어 식별 성능을 크게 향상시키며, 특히 외부 어휘에 속하지 않는 단어에서 두드러진다.
• 비용 감수성 대비 손실은 고정 마진 손실에 비해 임베딩 거리와 진정한 철자 편집 거리 간 상관관계를 더 높게 달성한다.
• t-SNE 시각화 결과, 동일한 단어의 임베딩은 공유된 공간에서 단단히 군집되어 있으며, 볼 수 있었던 단어뿐 아니라 볼 수 없었던 단어도 일관된 군집을 이룬다.
• 공통 접미사(-ly, -ing, -tion 등)를 공유하는 단어들은 텍스트 임베딩 공간에서 잘 분리된 밀집 군집을 이룬다. 이는 의미적 및 형태학적 구조가 잘 포착되었음을 시사한다.
• 청각적 및 철자적 임베딩은 매우 잘 정렬되어 있으며, 직접 비교가 가능하고, 청각에서 텍스트로의 단어 검색과 같은 교차 시각 작업을 가능하게 한다.
• 모델은 볼 수 없었던 단어로도 효과적으로 일반화되며, 이전에 볼 수 있었던 단어의 임베딩과 거의 동일한 수준의 군집화를 보여, 외부 어휘 입력에 대한 강건성을 입증한다.