[논문 리뷰] A language model based approach towards large scale and lightweight language identification systems

Brij Mohan Lal Srivastava, Hari Krishna Vydana외 2명|arXiv (Cornell University)|2015. 10. 13.

Speech Recognition and Synthesis참고 문헌 6인용 수 4

한 줄 요약

이 논문은 저수준의 음향 특징 대신 어순서열에서 유도된 고수준의 음소구조 패턴을 활용하는 경량이며 확장 가능한 언어 식별(LID) 시스템을 제안한다. 언어에 종속되지 않는 음소 인식기와 통계적(SRILM) 및 순환 신경망 언어모델(RNNLM)을 사용하여, 176개 언어에서 평균 정확도 87.69%를 달성하며, 음성 변동성에 대한 강건성과 대규모 배포에 적합한 계산 효율성을 입증한다.

ABSTRACT

Multilingual spoken dialogue systems have gained prominence in the recent past necessitating the requirement for a front-end Language Identification (LID) system. Most of the existing LID systems rely on modeling the language discriminative information from low-level acoustic features. Due to the variabilities of speech (speaker and emotional variabilities, etc.), large-scale LID systems developed using low-level acoustic features suffer from a degradation in the performance. In this approach, we have attempted to model the higher level language discriminative phonotactic information for developing an LID system. In this paper, the input speech signal is tokenized to phone sequences by using a language independent phone recognizer. The language discriminative phonotactic information in the obtained phone sequences are modeled using statistical and recurrent neural network based language modeling approaches. As this approach, relies on higher level phonotactical information it is more robust to variabilities of speech. Proposed approach is computationally light weight, highly scalable and it can be used in complement with the existing LID systems.

연구 동기 및 목표

• 대규모 다국어 응용을 위한 계산적으로 효율적이고 확장 가능한 LID 시스템을 개발하기 위해.
• 저수준의 음향 특징 대신 고수준의 음소구조 정보를 모델링하여, 화자, 정서 등 음성 변동성에 대한 강건성을 향상시키기 위해.
• 기존의 음향 기반 LID 시스템과의 보완적 접근으로서, 음소 시퀀스 기반 언어모델(SRILM 및 RNNLM)의 실현 가능성을 탐색하기 위해.
• 176개 언어의 대규모 다국어 데이터셋에서 PRLM(음소 인식기 + 언어모델) 파이프라인의 성능과 확장성을 평가하기 위해.

제안 방법

• 원시 음성 신호를 음소 시퀀스로 변환하기 위해 언어에 종속되지 않는 음소 인식기를 사용하여, 언어 특화 음향 모델링에 대한 의존도를 감소시킨다.
• 각 언어의 음소 시퀀스에 대해 n-gram 분포를 모델링하기 위해 SRILM을 활용한 통계적 언어모델링을 적용한다.
• 동일한 음소 시퀀스를 기반으로 RNNLM을 학습시키며, 은닉층 크기와 어휘의 이산화(6–100개 클래스로 분할) 등의 초모델 하이퍼파rameter를 최적화한다.
• 최적의 RNNLM 설정은 6개의 출력 클래스와 40개의 은닉 유닛을 사용하며, 최대 4단계까지 역전파를 통해 시간에 따라 효과적으로 전파할 수 있다.
• 언어 식별은 테스트 문장에서 각 언어 모델이 도출한 문장 수준의 난이도(퍼플렉서티)가 가장 낮은 언어 모델을 선택하여 수행한다.
• 모델은 176개 언어의 데이터셋에서 학습, 검증, 테스트로 각각 300개, 30개, 45개의 음성 문장을 사용하여 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 저수준의 음향 특징 모델링 대비 음소 시퀀스에서 유도된 음소구조 패턴을 모델링함으로써 LID 성능 향상이 가능할까?
• RQ2 대규모 LID에서 정확도와 계산 비용 측면에서 SRILM n-gram 모델과 RNNLM 간의 성능 비교는 어떠한가?
• RQ3 LID 정확도를 극대화하기 위해 RNNLM의 최적 하이퍼파ram터 설정(예: 출력 클래스 수, 은닉층 크기)은 무엇인가?
• RQ4 제안된 PRLM 기반 시스템은 176개 언어를 효율적으로 확장하여 높은 정확도와 낮은 계산 오버헤드를 유지할 수 있는가?
• RQ5 다양한 언어모델(예: 가중 평균)을 조합하면 개별 모델 성능을 초월하는 LID 성능 향상이 이루어지는가?

주요 결과

• 6개의 출력 클래스와 40개의 은닉 유닛을 사용한 RNNLM이 모든 176개 언어에서 평균 정확도 87.69%를 기록하며 최고의 성능을 보였다.
• 최고 성능을 보인 RNNLM은 Dangaleat 언어에서 최고 정확도 93.33%를 기록하여 강력한 언어별 식별 능력을 입증했다.
• SRILM 3-gram 모델은 평균 정확도 85.45%를 기록했으며, 1-gram(46.53%) 및 2-gram(81.77%) 모델 대비 뚜렷한 성능 향상을 보였다.
• n-gram 모델의 성능은 1-gram에서 trigram으로 이르러 급격히 향상되었고, 이후 6-gram 모델에서는 약간 감소하여 trigram 이상에서는 수익 감소 현상이 나타남을 시사했다.
• 6개 클래스를 사용한 RNNLM이 100개 클래스 RNNLM보다 뛰어난 성능을 보였으며, 이는 최적의 어휘 이산화(약 √|V| 수준)가 성능 향상에 기여함을 시사한다.
• 모든 언어에서 일관된 성능을 보였으며, 최소 정확도 77.77%와 최대 정확도 93.33%를 기록하여 강건성과 일반화 능력을 입증했다.