[논문 리뷰] LSTM-TDNN with convolutional front-end for Dialect Identification in the 2019 Multi-Genre Broadcast Challenge

Xiaoxiao Miao, Ian McLoughlin|arXiv (Cornell University)|2019. 12. 19.

Speech Recognition and Synthesis참고 문헌 12인용 수 4

한 줄 요약

이 논문은 MGB-5 챌린지에서 미세한 아랍어 방언 식별을 위해 복합 신경망 전단과 장기 기억 단기 기억망 후단을 조합한 CLSTM 아키텍처를 제안한다. 저자들은 자원이 적은 방언에 대해 시간 스케일 수정(TSM)을 활용한 데이터 증강 기법과 전통적 증강(TTDA)을 적용하여 2위를 기록했으며, 표준 DNN x-vector 시스템을 능가하는 성능을 내기 위해 시간적 의존성의 모델링과 데이터 균형을 향상시켰다.

ABSTRACT

This paper presents a novel Dialect Identification (DID) system developed for the Fifth Edition of the Multi-Genre Broadcast challenge, the task of Fine-grained Arabic Dialect Identification (MGB-5 ADI Challenge). The system improves upon traditional DNN x-vector performance by employing a Convolutional and Long Short Term Memory-Recurrent (CLSTM) architecture to combine the benefits of a convolutional neural network front-end for feature extraction and a back-end recurrent neural to capture longer temporal dependencies. Furthermore we investigate intensive augmentation of one low resource dialect in the highly unbalanced training set using time-scale modification (TSM). This converts an utterance to several time-stretched or time-compressed versions, subsequently used to train the CLSTM system without using any other corpus. In this paper, we also investigate speech augmentation using MUSAN and the RIR datasets to increase the quantity and diversity of the existing training data in the normal way. Results show firstly that the CLSTM architecture outperforms a traditional DNN x-vector implementation. Secondly, adopting TSM-based speed perturbation yields a small performance improvement for the unbalanced data, finally that traditional data augmentation techniques yield further benefit, in line with evidence from related speaker and language recognition tasks. Our system achieved 2nd place ranking out of 15 entries in the MGB-5 ADI challenge, presented at ASRU 2019.

연구 동기 및 목표

• 자원이 적고 균형이 깨진 학습 데이터에서 미세한 아랍어 방언 식별(DID) 문제를 해결한다.
• 시간적 및 스펙트럼적 특징을 더 잘 모델링하기 위해 전통적인 DNN x-vector 시스템을 개선하기 위해 CNN-LSTM 하이브리드 아키텍처를 통합한다.
• 외부 코퍼스를 사용하지 않고도 자원이 적은 방언(예: 요르단어, JOR)의 데이터 불균형 문제를 해결하기 위해 시간 스케일 수정(TSM)을 적용한다.
• TSM과 전통적 학습 데이터 증강(TTDA)의 효과를 평가하여 일반화 능력 향상과 오차율 감소에 기여하는지 확인한다.
• 엄격한 데이터 사용 제약 조건 하에서 MGB-5 ADI 챌린지에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• CLSTM 아키텍처를 활용: CNN 전단이 음성 프레임에서 국소적이고 맥락 인식 특징을 추출한 후, LSTM 계층이 장기적인 시간적 의존성을 모델링한다.
• RTISI 알고리즘을 통한 시간 스케일 수정(TSM)을 활용해 자원이 적은 방언 음성의 시간 압축 또는 연장된 버전을 생성함으로써 학습 데이터의 다양성을 증가시킨다.
• 도전 과제 규칙을 준수하기 위해 TSM을 가장 부족한 방언인 JOR에만 적용하여 학습 세트의 균형을 맞춘다.
• TSM과 MUSAN 노이즈 및 RIR 리버버버션 데이터셋을 활용한 전통적 증강(TTDA)을 조합하여 데이터 변동성과 모델의 강인성을 더욱 향상시킨다.
• 교정 손실 함수를 사용해 엔드 투 엔드 백프로파게이션을 통해 CLSTM 모델을 훈련시키며, 세그먼트 수준의 분류를 최적화한다.
• 최종 분류 이전에 틀레벨 출력에서 통계적 풀링(평균 및 표준편차)을 적용하여 고정된 차원의 임bedding을 생성한다.

실험 결과

연구 질문

• RQ1 CNN-LSTM 하이브리드 아키텍처(CLSTM)가 표준 DNN x-vector 시스템보다 미세한 아랍어 방언 식별에서 성능을 뛰어넘을 수 있는가?
• RQ2 외부 데이터를 허용하지 않을 경우, 시간 스케일 수정(TSM)이 자원이 적은 방언의 성능 향상에 얼마나 기여하는가?
• RQ3 노이즈와 리버버버션을 활용한 전통적 데이터 증강(TTDA)이 모든 방언에서 DID 성능 향상에 얼마나 효과적인가?
• RQ4 TSM과 TTDA의 조합이 모델의 일반화 능력 향상과 오차 감소에 상호보완적인 효과를 가지는가?
• RQ5 유사한 방언(예: 레반틴 아랍어) 간의 혼동 패턴은 모델이 미세한 청각적 및 음운적 차이를 포착하는 능력을 어떻게 반영하는가?

주요 결과

• CLSTM 아키텍처는 테스트 세트에서 93.06%의 정확도와 2.09%의 EER을 달성하여 베이스라인 DNN x-vector 시스템을 능가했다.
• 자원이 적은 요르단어(JOR) 방언에 TSM 기반 증강을 적용함으로써, 그 작은 크기에도 불구하고 JOR의 정확도가 80.17%로 향상되었다.
• TSM과 TTDA를 조합한 결과 전체 테스트 세트에서 가장 높은 성능을 기록: 93.06% 정확도와 2.09% EER로 개별 방법보다 略로 뛰어난 성능을 보였다.
• Lebanese(LEB) 방언이 96.97%의 가장 높은 정확도를 기록하여 잘 표현된 방언에 대해 모델의 분류 능력이 뛰어나다는 것을 시사했다.
• 혼동이 가장 높은 것은 레반틴 방언들(예: JOR, PAL, SYR, LEB) 간에 발생했으며, 이는 공통된 음운적 및 어휘적 특징이 오분류 위험을 증가시킨다는 것을 의미한다.
• 레반틴 방언들 사이의 유사성이 높음에도 불구하고, 일부 쌍에서는 혼동이 감소한 것으로 나타났는데, 이는 CLSTM 아키텍처가 미세한 청각적 및 음성적 차이를 포착했을 가능성이 있다.