[논문 리뷰] Convolutional Neural Networks and Language Embeddings for End-to-End Dialect Recognition

Suwon Shon, Ahmed Ali외 1명|arXiv (Cornell University)|2018. 03. 12.

Speech Recognition and Synthesis참고 문헌 11인용 수 10

한 줄 요약

이 논문은 음성 특징(MFCC, FBANK, 스펙트로그램)과 언어적 특징에서 언어 임베딩을 학습하기 위해 시아모이즈 신경망을 사용하는 종단간 컨volutional 신경망(CNN) 시스템을 제안한다. 최고의 융합 시스템은 MGB-3 데이터셋에서 78%의 정확도를 달성하였으며, 데이터셋 증강과 언어 임베딩은 강건성과 성능 향상에 크게 기여하였다.

ABSTRACT

Dialect identification (DID) is a special case of general language identification (LID), but a more challenging problem due to the linguistic similarity between dialects. In this paper, we propose an end-to-end DID system and a Siamese neural network to extract language embeddings. We use both acoustic and linguistic features for the DID task on the Arabic dialectal speech dataset: Multi-Genre Broadcast 3 (MGB-3). The end-to-end DID system was trained using three kinds of acoustic features: Mel-Frequency Cepstral Coefficients (MFCCs), log Mel-scale Filter Bank energies (FBANK) and spectrogram energies. We also investigated a dataset augmentation approach to achieve robust performance with limited data resources. Our linguistic feature research focused on learning similarities and dissimilarities between dialects using the Siamese network, so that we can reduce feature dimensionality as well as improve DID performance. The best system using a single feature set achieves 73% accuracy, while a fusion system using multiple features yields 78% on the MGB-3 dialect test set consisting of 5 dialects. The experimental results indicate that FBANK features achieve slightly better results than MFCCs. Dataset augmentation via speed perturbation appears to add significant robustness to the system. Although the Siamese network with language embeddings did not achieve as good a result as the end-to-end DID system, the two approaches had good synergy when combined together in a fused system.

연구 동기 및 목표

• 서로 유사한 언어적 특징을 가진 방언들 간의 식별이 어려운 점을 감안해 아랍어 방언 식별(DID)의 과제를 해결한다.
• 기존의 i-vector 방법보다 성능을 향상시키기 위해 음성 특징을 활용한 종단간 딥러닝 시스템을 개발한다.
• 시아모이즈 네트워크를 통해 언어 임베딩을 학습하여 언어적 특징의 차원을 감소시키고 방언 식별 성능을 향상시킨다.
• 제한된 학습 데이터에서의 강건성을 향상시키기 위해 데이터 증강 기법(예: 속도 왜곡)을 조사한다.
• 음성 특징과 언어적 특징을 융합하여 단일 모odal 시스템보다 뛰어난 성능을 달성한다.

제안 방법

• MFCC, 로그 멜스케일 필터뱅크 에너지(FBANK), 스펙트로그램 에너지의 세 가지 음성 특징 유형을 사용하여 종단간 CNN 기반 DID 시스템을 훈련한다.
• 랜덤 음성 구간 분할 및 볼륨/속도 왜곡을 통해 데이터 증강을 적용하여 학습 데이터의 다양성과 강건성을 향상시킨다.
• 코사인 유사도 손실을 사용한 시아모이즈 신경망을 통해 단어, 문자, 음소 수준의 언어적 특징에서 방언 특화 언어 임베딩을 학습한다.
• 고차원 언어적 특징(예: 41,657차원 문자 특징)을 시아모이즈 네트워크를 통해 200차원 임베딩으로 감소시킨다.
• 다양한 시스템—종단간 음성 모델과 언어 임베딩 시스템—의 결과를 가중 평균을 사용해 융합하여 성능을 향상시킨다.
• 5개 방언과 73.7시간의 음성 데이터를 포함한 MGB-3 아랍어 방언 코퍼스에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 데이터에서 기존의 i-vector 방법보다 종단간 CNN 기반 시스템이 아랍어 방언 식별에서 더 우수한 성능을 내는가?
• RQ2 MFCC, FBANK, 스펙트로그램 등의 다양한 음성 특징 표현 방식이 종단간 DID에 얼마나 효과적인가?
• RQ3 속도 및 볼륨 왜곡을 통한 데이터 증강 기법이 저자원 DIT 환경에서 일반화 능력과 정확도를 향상시키는가?
• RQ4 시아모이즈 네트워크가 언어적 특징에서 의미 있는 언어 임베딩을 학습하여 DID 성능 향상과 차원 감소를 달성할 수 있는가?
• RQ5 음성 특징 기반 시스템과 언어적 특징 기반 시스템을 융합한 하이브리드 DID 프레임워크에서 성능 향상은 얼마나 되는가?

주요 결과

• FBANK 특징을 사용한 최고의 단일 시스템은 MGB-3 테스트 세트에서 73%의 정확도를 기록하여 MFCC 및 스펙트로그램 기반 베이스라인을 초월하였다.
• 다양한 음성 및 언어적 특징을 융합한 시스템은 78%의 정확도를 달성하여 이전 최고 성능보다 뚜렷한 향상을 보였다.
• 속도 및 볼륨 왜곡을 통한 데이터 증강은 원시 특징(예: 스펙트로그램)에 대해 가장 높은 성능 향상을 보였으며(예: 22% 정확도 향상), 더 정교하지 않은 특징에 더 큰 이점을 제공함을 시사했다.
• 언어 임베딩은 언어적 특징의 차원을 41,657에서 200으로 감소시키면서 EER을 약 15% 향상시켜 효과적인 특징 압축을 입증하였다.
• 시아모이즈 네트워크 기반 언어 임베딩 시스템은 평균적으로 모든 지표에서 17% 향상을 보였으며, 단어 기반 특징이 가장 우수한 성능을 기록하였다.
• 음성 특징 기반 시스템과 언어 임베딩 기반 시스템의 융합은 다수의 음성 시스템 융합보다 시너지 효과를 보였으며, 서로 보완적인 강점을 지녀 모odal 간의 상호보완성이 높음을 시사했다.