[논문 리뷰] Automatic Spoken Language Identification using a Time-Delay Neural Network

Benjamin Kepecs, Homayoon Beigi|arXiv (Cornell University)|2022. 01. 01.

Speech Recognition and Synthesis인용 수 2

한 줄 요약

이 논문은 다국어 ASR 파ip라인을 사용하여 자동 음성 언어 식별을 위한 시간지연 신경망(TDNN) 기반 접근법을 제안한다. Kaldi 기반 시스템에서 언어별 접두어가 부여된 음소 정렬을 활용하여 다수결 투표 방식으로 언어를 예측함으로써 스페인어와 아랍어에 대해 높은 정확도를 달성하였고, 프랑스어와 터키어에 대해서는 중간 수준의 정확도를 기록하였다.

ABSTRACT

Closed-set spoken language identification is the task of recognizing the language being spoken in a recorded audio clip from a set of known languages. In this study, a language identification system was built and trained to distinguish between Arabic, Spanish, French, and Turkish based on nothing more than recorded speech. A pre-existing multilingual dataset was used to train a series of acoustic models based on the Tedlium TDNN model to perform automatic speech recognition. The system was provided with a custom multilingual language model and a specialized pronunciation lexicon with language names prepended to phones. The trained model was used to generate phone alignments to test data from all four languages, and languages were predicted based on a voting scheme choosing the most common language prepend in an utterance. Accuracy was measured by comparing predicted languages to known languages, and was determined to be very high in identifying Spanish and Arabic, and somewhat lower in identifying Turkish and French.

연구 동기 및 목표

• 기존의 ASR 도구와 다국어 데이터를 활용하여 저자원 환경에서의 종단간(end-to-end) 음성 언어 식별 시스템을 개발한다.
• 폐쇄 집합 시나리오에서 언어 접두어 부여와 음소 정렬 투표의 효과성을 평가한다.
• 음성학적 및 프로소디적 특성이 상이한 다양한 언어(아랍어, 스페인어, 프랑스어, 터키어)에 대한 성능을 평가한다.
• 음성 인식 모델을 최소한의 아키텍처 변경으로 언어 식별에 적합하게 변형할 수 있는지 탐색한다.
• 실시간 코드 스위칭 감지 응용 분야에 이 방법이 어떻게 활용될 수 있는지 탐색한다.

제안 방법

• 멀티링구얼 음성 인식을 위해 MediaSpeech 데이터셋에서 Kaldi 기반 Tedlium TDNN 모델을 미세조정하였다.
• 언어 이름을 음소 앞에 붙인 방식으로 맞춤형 다국어 언어 모델 및 발음 어휘 사전을 구축하였다.
• 훈련된 ASR 시스템을 사용하여 테스트 음성 문장의 음소 정렬을 생성하였다.
• 각 문장의 정렬된 음소의 언어 접두어에 대해 다수결 투표를 통해 언어를 예측하였다.
• 여러 테스트 세트에서 정답 레이블과의 비교를 통해 표준 정확도 지표를 사용하여 성능을 평가하였다.
• 더 나은 효율성과 실시간 배포를 위해 아키텍처 단순화 및 다른 모델(예: 피드포워드 네트워크)을 탐색하였다.

실험 결과

연구 질문

• RQ1 언어 접두어가 부여된 사전 훈련된 ASR 시스템이 음성 언어 식별에 효과적으로 재사용될 수 있는가?
• RQ2 스페인어, 아랍어, 프랑스어, 터키어와 같이 언어학적으로 다양성이 큰 언어들에 대해 다수결 기반 언어 예측 방법의 성능은 어떻게 변할까?
• RQ3 아프리카계 프랑스어나 튀니지 아랍어와 같은 미사용된 발음 스타일에 대해 시스템의 일반화 능력은 어느 정도인가?
• RQ4 음소 수준의 언어 태깅을 활용하여 실시간 코드 스위칭 감지에 이 방법을 어떻게 적용할 수 있는가?
• RQ5 모델 단순화가 저자원 환경에서의 정확도와 추론 속도에 어떤 영향을 미치는가?

주요 결과

• 스페인어와 아랍어에 대해 높은 정확도를 기록하여, 뚜렷한 음성학적 및 프로소디적 특성을 지닌 언어에서 뛰어난 성능을 보였다.
• 프랑스어와 터키어에 대해 성능이 낮아, 유사한 음소 체계나 프로소디 패턴을 가진 언어들을 구분하는 데 어려움이 있음을 시사하였다.
• 발음 변형에 대해 강건한 성능를 보였으며, 특히 아프리카계 프랑스어를 테스트한 경우에도 프랑스어를 탐지하는 데 성공했지만 정확도는 감소하였다.
• 언어 접두어가 부여된 음소와 음소 정렬에 대한 다수결 투표 방식이 음성 모델을 재학습하지 않고도 언어 분류에 효과적임을 입증하였다.
• TDNN 아키텍처를 단순화하면 훈련 시간과 자원 사용량을 줄일 수 있어, 코드 스위칭 감지와 같은 응용 분야에서 실시간 배포가 가능해졌다.
• 타임스탬프가 부여된 음소 정렬을 활용하여 문장 내 언어 접두어의 변화를 식별함으로써, 이 방법이 코드 스위칭 감지로의 확장 가능성을 보였다.