[논문 리뷰] Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification

Pradeep Rangan, Sundeep Teki외 1명|arXiv (Cornell University)|2020. 10. 14.

Speech and Audio Processing인용 수 14

한 줄 요약

이 논문은 인도 다국어 음성에서 코드 스위칭된 말하기 언어 식별(LID)을 위한 언어 마스크 기반 스펙트럼 증강 방법을 제안한다. 여기서 시간적 마스크는 텍스트의 언어 전환 지점에 기반하여 체계적으로 배치된다. 이 방법은 세 가지 언어 조합(Gujarati-English, Tamil-English, Telugu-English)에서 말하기 수준 및 프레임 수준 작업 모두에서 마이크로소프트 기준 성능 대비 LID 정확도를 3–5% 향상시키며, 노이즈에 대한 내성과 언어 간 구분 능력을 향상시킨다.

ABSTRACT

Spoken language Identification (LID) systems are needed to identify the language(s) present in a given audio sample, and typically could be the first step in many speech processing related tasks such as automatic speech recognition (ASR). Automatic identification of the languages present in a speech signal is not only scientifically interesting, but also of practical importance in a multilingual country such as India. In many of the Indian cities, when people interact with each other, as many as three languages may get mixed. These may include the official language of that province, Hindi and English (at times the languages of the neighboring provinces may also get mixed during these interactions). This makes the spoken LID task extremely challenging in Indian context. While quite a few LID systems in the context of Indian languages have been implemented, most such systems have used small scale speech data collected internally within an organization. In the current work, we perform spoken LID on three Indian languages (Gujarati, Telugu, and Tamil) code-mixed with English. This task was organized by the Microsoft research team as a spoken LID challenge. In our work, we modify the usual spectral augmentation approach and propose a language mask that discriminates the language ID pairs, which leads to a noise robust spoken LID system. The proposed method gives a relative improvement of approximately 3-5% in the LID accuracy over a baseline system proposed by Microsoft on the three language pairs for two shared tasks suggested in the challenge.

연구 동기 및 목표

• 코드 스위칭된 인도 다국어 음성에서 여러 언어(예: 구자라트어, 텔루구어, 타밀어)가 영어와 혼합된 상황에서 말하기 언어 식별(LID)의 과제를 해결하기 위해.
• 코드 스위칭된 음성 패턴에 맞게 스펙트럼 증강 기법을 적응시켜 LID 시스템의 노이즈에 대한 내성과 언어 간 구분 능력을 향상시키기 위해.
• 텍스트 수준의 언어 전환 정보를 활용해 스펙트럼 마스킹을 이끄는 언어 마스크를 개발하여 모델의 일반화 능력을 향상시키기 위해.
• 단일 언어 대비 코드 스위칭된 문장 분류 및 프레임 수준 언어 식별을 포함한 공동 과제에서 기존 기준 시스템을 능가하기 위해.

제안 방법

• 텍스트로 변환된 음성 데이터에서 언어 전환 지점(예: 영어 대비 현지어 세그먼트)을 식별하는 언어 마스크가 생성된다. 이는 스펙트럼 마스킹을 이끄는 데 사용된다.
• 표준 스펙트럼 증강에서 무작위 시간 마스크를 언어 경계에 기반한 위치 인식 마스크로 대체함으로써 스펙트럼 증강을 수정한다.
• 모델은 청소된 스펙트로그램과 마스킹된 스펙트로그램을 처리하기 위해 CNN-BiLSTM 인코더와 연결주의 시간 분류(CTC) 손실을 사용하여 엔드 투 엔드 시퀀스 모델링을 수행한다.
• 주파수 마스킹과 시간 왜곡은 표준 스펙트럼 증강에서 유지되지만, 시간 마스크는 언어 전환 지점에 조건화된다.
• 모델은 청소된 스펙트로그램과 증강된 스펙트로그램 양측 모두에서 훈련되어 코드 스위칭 패턴에 대한 내성과 일반화 능력을 향상시킨다.
• 성능 평가는 두 가지 공동 과제인 문장 수준 분류 및 프레임 수준 언어 식별에서 정확도와 등가 오류 비율(EER)을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 언어 전환 인식 스펙트럼 증강이 코드 스위칭된 인도 다국어 음성에서 말하기 LID 성능을 향상시킬 수 있는가?
• RQ2 텍스트에서 유도된 언어 마스크를 스펙트럼 증강에 적용할 경우, 단일 언어 대비 코드 스위칭 문장 간의 모델 구분 능력에 어떤 영향을 미치는가?
• RQ3 무작위 마스킹 대비 제안된 방법이 노이즈에 대한 내성과 프레임 수준 언어 식별 정확도를 얼마나 향상시키는가?
• RQ4 언어별 마스킹 통합이 구자라트어-영어, 타밀어-영어, 텔루구어-영어 음성에서 다양한 코드 스위칭 패턴에 걸쳐 일반화 능력을 향상시키는가?

주요 결과

• 제안된 언어 마스크 기반 스펙트럼 증강은 모든 세 가지 언어 조합(Gujarati-English, Tamil-English, Telugu-English)에서 마이크로소프트 기준 시스템 대비 LID 정확도를 3–5% 상대적으로 향상시켰다.
• Task-A(문장 수준 분류)에서 모델은 구자라트어-영어에 대해 73.01% 정확도(기준 71.9%), 타밀어-영어에 대해 79.02%(기준 71.2%), 텔루구어-영어에 대해 78.65%(기준 74.0%)를 기록했다.
• Task-B(프레임 수준 식별)에서 그리디 디코딩을 사용할 경우, 모델은 구자라트어-영어에 대해 75.72% 정확도와 7.53% EER을 달성했으며, 기준값인 66.79%와 9.71% EER을 초월했다.
• 빔 서치 디코딩(빔 너비 15)을 사용할 경우, 모델은 구자라트어-영어에 대해 76.64% 정확도와 7.36% EER을 기록했으며, 기준값 72.53%와 8.54% EER을 상회했다.
• 모든 언어에서 성능 향상이 일관되게 관찰되었으며, 특히 타밀어-영어에서 가장 높은 상대적 향상이 관찰되었고, 일부 설정에서 정확도가 최대 7.8% 절대적으로 향상되었다.
• 결과는 언어 인식 마스킹이 미세한 언어 전환를 탐지하는 데 모델의 능력을 향상시키고, 단일 언어 대비 코드 스위칭 음성 간의 구분 능력을 향상시킨다는 것을 보여준다.