[논문 리뷰] Cross-lingual and Multilingual Spoken Term Detection for Low-Resource Indian Languages

Sanket Shah, Satarupa Guha외 2명|arXiv (Cornell University)|2020. 11. 12.

Speech Recognition and Synthesis참고 문헌 14인용 수 4

한 줄 요약

이 논문은 고자원 히нд어, 타밀어, 텔루구어 ASR 시스템을 블랙박스 변환기로 사용하여 10개의 저자원 인도어 저자원 언어에 대해 제로샷 다국어 음성어검색(STD) 방법을 제안한다. 음소 유사도, 유사 음소 매칭 알고리즘, 언어별 언어모델을 활용함으로써, 목표 언어 음성 데이터 없이도 높은 MTWV 점수(최대 0.86)를 달성한다. 이는 음소적으로 유사한 언어가 가장 큰 이점을 얻고, 음소적으로 다를 경우에도 강력한 음소 매칭을 통해 탐지가 가능하다는 것을 보여준다.

ABSTRACT

Spoken Term Detection (STD) is the task of searching for words or phrases within audio, given either text or spoken input as a query. In this work, we use state-of-the-art Hindi, Tamil and Telugu ASR systems cross-lingually for lexical Spoken Term Detection in ten low-resource Indian languages. Since no publicly available dataset exists for Spoken Term Detection in these languages, we create a new dataset using a publicly available TTS dataset. We report a standard metric for STD, Mean Term Weighted Value (MTWV) and show that ASR systems built in languages that are phonetically similar to the target languages have higher accuracy, however, it is also possible to get high MTWV scores for dissimilar languages by using a relaxed phone matching algorithm. We propose a technique to bootstrap the Grapheme-to-Phoneme (g2p) mapping between all the languages under consideration using publicly available resources. Gains are obtained when we combine the output of multiple ASR systems and when we use language-specific Language Models. We show that it is possible to perform STD cross-lingually in a zero-shot manner without the need for any language-specific speech data. We plan to make the STD dataset available for other researchers interested in cross-lingual STD.

연구 동기 및 목표

• 저자원 인도어에서 언어 특화 음성 데이터 없이도 음성어검색(STD)을 가능하게 하기 위해.
• 고자원 인도어 언어(히нд어, 텔루구어, 타밀어)의 다국어 ASR 시스템이 10개의 저자원 언어에서 STD에 얼마나 효과적으로 사용될 수 있는지 평가하기 위해.
• 공개 자원을 활용하여 이러한 언어들 간의 문자-음소(g2p) 매핑을 부트스트랩하는 방법을 개발하기 위해.
• 다국어 ASR 융합 및 언어별 언어모델을 통해 STD 성능을 향상시키기 위해.
• TTS 코퍼스 기반으로 새로운 공개 STD 데이터셋을 제작하고 배포하기 위해.

제안 방법

• 10개의 저자원 인도어 음성 데이터에 대해 사전에 훈련된 히нд어, 텔루구어, 타밀어 ASR 시스템을 블랙박스 변환기로 활용하였다.
• 유사 음소 클래스의 음소가 매칭될 수 있도록 允용된 음소 매칭 알고리즘을 적용하여 음소적으로 다를 수 있는 언어에 대한 내성적 강도를 높였다.
• 공통된 음소 집합과 유니코드 문자 매핑을 사용하여 모든 목표 언어 간의 g2p 매핑을 부트스트랩하였다.
• 모든 세 개의 ASR 시스템의 가설을 정렬 점수 기반 투표 전략을 통해 융합하여 탐지 정확도를 향상시켰다.
• 목표 언어 텍스트 데이터로 훈련된 언어별 언어모델(LMs)을 통합하여 성능을 향상시켰다.
• 모든 언어에서 표준 STD 평가 지표인 평균어중량값(MTWV)을 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 고자원 인도어 언어 ASR 시스템이 저자원 인도어 언어에서 제로샷 음성어검색에 효과적으로 사용될 수 있는가?
• RQ2 원천 언어와 목표 언어 간의 음소 유사도가 다국어 환경에서 STD 성능에 어떤 영향을 미치는가?
• RQ3 유사 음소 매칭 알고리즘이 음소적으로 다를 수 있는 언어의 STD 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 여러 ASR 시스템의 출력을 융합하고 언어별 언어모델을 사용할 경우 MTWV 점수가 향상되는가?
• RQ5 공개 자원을 활용하여 저자원 인도어 언어들 간에 g2p 매핑을 효과적으로 부트스트랩할 수 있는가?

주요 결과

• 다국어 ASR 융합 접근법이 모든 언어에서 가장 높은 MTWV 점수를 기록하였으며, 단일 ASR 기반 모델보다 성능 향상이 뚜렷했다.
• 히нд어와 음소적으로 유사한 언어들(예: 구자라트어, 마라티어, 라자스탄어)은 더 나은 ASR 정렬 덕분에 가장 높은 MTWV 점수(최대 0.62)를 기록하였다.
• 높은 음소 오류율(PER)에도 불구하고, 유사 음소 클래스 간의 매칭을 允용하는 유사 음소 매칭 알고리즘이 기여하여 보도(Bodo)는 0.56의 높은 MTWV를 기록하였다.
• 언어별 언어모델을 추가로 통합함으로써 MTWV 점수가 크게 향상되었으며, 법인갈리어는 0.47에서 0.79로, 칸나다어는 0.41에서 0.86으로 상승하였다.
• 기존에 ASR 시스템이 없는 언어들에 대해서도 높은 성능을 달성하여 제로샷 다국어 음성어검색의 가능성을 입증하였다.
• 저자원 인도어 언어 음성어검색 분야의 향후 연구를 지원하기 위해 TTS 코퍼스 기반으로 새로운 공개 STD 데이터셋을 제작 및 배포할 계획이다.