[논문 리뷰] Spoken Language Identification using ConvNets

Sarthak, Shikhar Shukla외 1명|arXiv (Cornell University)|2019. 10. 09.

Speech Recognition and Synthesis참고 문헌 24인용 수 11

한 줄 요약

이 논문은 원시 음성 웨이브포맷을 직접 사용하여 말하는 언어 식별을 수행하는 1D-ConvNet과 로그-멜 스펙트로그램을 사용하는 어텐션 기반 2D-ConvNet 및 양방향 GRU를 제안한다. 후자는 믹스업 데이터 증강 기법을 사용하여 6개 언어(영어, 프랑스어, 독일어, 스페인어, 러시아어, 이탈리아어)에서 95.4%의 정확도를 달성하며, VoxForge 데이터셋에서 음성 및 이미지 영역에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Language Identification (LI) is an important first step in several speech processing systems. With a growing number of voice-based assistants, speech LI has emerged as a widely researched field. To approach the problem of identifying languages, we can either adopt an implicit approach where only the speech for a language is present or an explicit one where text is available with its corresponding transcript. This paper focuses on an implicit approach due to the absence of transcriptive data. This paper benchmarks existing models and proposes a new attention based model for language identification which uses log-Mel spectrogram images as input. We also present the effectiveness of raw waveforms as features to neural network models for LI tasks. For training and evaluation of models, we classified six languages (English, French, German, Spanish, Russian and Italian) with an accuracy of 95.4% and four languages (English, French, German, Spanish) with an accuracy of 96.3% obtained from the VoxForge dataset. This approach can further be scaled to incorporate more languages.

연구 동기 및 목표

• 말하는 언어 식별을 위한 딥러닝 모델에 원시 음성 웨이브포맷을 직접 입력하여 로그-멜 스펙트로그램 추출의 계산 비용을 회피하는 것.
• 기존 모델을 평가하고 성능 향상을 위한 새로운 어텐션 기반 2D-ConvNet과 양방향 GRU를 제안하는 것.
• 데이터 증강 기법(예: 믹스업)과 어텐션 메커니즘의 효과를 검토하여 자원이 제한된 말하는 언어 식별 작업에서 모델의 일반화 및 정확도 향상 여부를 분석하는 것.
• 인도-유럽어족에서 겹치는 음소를 가진 언어 집합(4개 및 6개 언어)에 대해 모델 성능을 비교하는 것.
• 번역적 지도 없이 원시 음성에서부터 엔드 투 엔드 학습이 가능한지 탐색하며, 암묵적 언어 식별에 초점을 맞추는 것.

제안 방법

• 1D-ConvNet은 원시 음성 웨이브포맷에 직접 훈련되며, 시간적 컨볼루션 레이어를 사용해 사전 스펙트로그램 변환 없이 특징을 추출한다.
• 2D-ConvNet은 로그-멜 스펙트로그램 이미지에 적용되며, 공간적 및 채널 어텐션 메커니즘을 통해 주목할 만한 주파수 및 시간 도메인 특징을 강조한다.
• 2D-ConvNet 이후에 양방향 GRU를 스택하여 음성 시퀀스의 장거리 시간적 의존성을 모델링한다.
• 민트업 데이터 증강 기법을 두 모델에 모두 적용하여, 입력과 레이블의 쌍을 선형 조합으로 생성함으로써 정확도 향상과 과적합 방지를 도모한다.
• 학습률, 필터 크기, 네트워크 깊이 등의 하이퍼파라미터를 조정하여 두 아키텍처의 검증 정확도를 최적화한다.
• 혼동 행렬과 k-폴드 교차검증을 사용하여 모델의 일반화 능력 평가 및 음소적으로 유사한 언어 간 오류 패턴 분석을 수행한다.

실험 결과

연구 질문

• RQ1 로거-멜 스펙트로그램 전처리 없이 원시 음성 웨이브포맷이 엔드 투 엔드 말하는 언어 식별에 효과적인 입력 특징으로 기능할 수 있는가?
• RQ2 믹스업 데이터 증강 기법이 VoxForge 데이터셋에서 ConvNet 기반 언어 식별 모델의 일반화 및 정확도 향상에 어떻게 기여하는가?
• RQ3 어텐션 메커니즘과 양방향 RNN이 언어 식별을 위한 2D-ConvNet 아키텍처의 성능 향상에 어느 정도 기여하는가?
• RQ4 음소가 겹치는 언어 집단(예: 라틴어족, Germanic어족, 슬라브어족) 간에 모델 성능과 오분류 패턴은 어떻게 변화하는가?
• RQ5 정확도 및 계산 효율성 측면에서 원시 웨이브포맷을 사용하는 1D-ConvNet과 로그-멜 스펙트로그램을 사용하는 2D-ConvNet 간의 비교적 효과성은 어떠한가?

주요 결과

• 원시 음성 웨이브포맷을 사용하는 1D-ConvNet은 6개 언어에 대해 k-폴드 교차검증에서 평균 정확도 93.7%와 표준편차 0.3%를 기록했다.
• 어텐션과 양방향 GRU를 갖춘 2D-ConvNet은 믹스업 없이 95.0%의 정확도, 믹스업 적용 시 95.4%의 정확도를 달성하여 이전 방법보다 뚜렷한 향상을 보였다.
• 믹스업 증강은 일반화 능력을 일관되게 향상시켜 2D-ConvNet의 6개 언어 정확도를 94.3%에서 95.4%로 높였다.
• 동일한 언어계열(예: 라틴어족: 프랑스어, 스페인어, 이탈리아어) 간 오분류가 높게 나타나, 음소 유사성이 주요 과제임을 시사했다.
• 프랑스어와 러시아어 간에도 다른 어족임에도 불구하고 'automate'와 'ABTOMaT'와 같은 유사 발음의 어휘적 빌린어휘로 인해 오분류가 발생했다.
• 믹스업를 적용한 2D-ConvNet은 4개 언어(영어, 프랑스어, 독일어, 스페인어)에서 96.3%의 정확도를 기록하여 이 하위 집합에서 이전 최고 기록을 초월했다.