[논문 리뷰] Unsupervised Domain Adaptation Schemes for Building ASR in Low-resource Languages

C. S. Anoop, Prathosh AP외 1명|arXiv (Cornell University)|2021. 09. 12.

Speech Recognition and Synthesis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 공통 음소 공간을 공유하는 고자원 언어를 활용하여 저자원 언어에서 ASR 성능을 향상시키기 위해 경사 반전층(GRL)과 도메인 분리 네트워크(DSN)를 사용한 비지도 도메인 적응(UDA)을 제안한다. 단지 5.5시간의 비번역 Sanskrit 데이터로 훈련하고 히нд어에서 미세조정한 DSN은 기준 DNN 대비 7.32% 절대적인 WER 감소를 달성하여, 번역된 타겟 데이터 없이도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Building an automatic speech recognition (ASR) system from scratch requires a large amount of annotated speech data, which is difficult to collect in many languages. However, there are cases where the low-resource language shares a common acoustic space with a high-resource language having enough annotated data to build an ASR. In such cases, we show that the domain-independent acoustic models learned from the high-resource language through unsupervised domain adaptation (UDA) schemes can enhance the performance of the ASR in the low-resource language. We use the specific example of Hindi in the source domain and Sanskrit in the target domain. We explore two architectures: i) domain adversarial training using gradient reversal layer (GRL) and ii) domain separation networks (DSN). The GRL and DSN architectures give absolute improvements of 6.71% and 7.32%, respectively, in word error rate over the baseline deep neural network model when trained on just 5.5 hours of data in the target domain. We also show that choosing a proper language (Telugu) in the source domain can bring further improvement. The results suggest that UDA schemes can be helpful in the development of ASR systems for low-resource languages, mitigating the hassle of collecting large amounts of annotated speech data.

연구 동기 및 목표

• 대규모 번역된 음성 데이터가 부족한 저자원 언어에서 효과적인 ASR 시스템을 구축하는 데 도전하는 것.
• 공통 음소 공간을 공유하는 저자원 언어로 지도되지 않은 도메인 적응(UDA)이 고자원 언어에서의 지식을 전이할 수 있는지 조사하는 것.
• GRL과 DSN 아키텍처가 고자원(히нд어)과 저자원(상스키트어) 언어 분포 간 도메인 이동을 줄이는 데 얼마나 효과적인지 평가하는 것.
• 언어학적으로 더 가까운 소스 언어(텔루구어)를 선택할 경우 타겟 언어(상스키트어)에서의 ASR 성능이 향상되는지 탐색하는 것.

제안 방법

• 히нд어(소스)와 상스키트어(타겟) 음성 분포 간 도메인 불변 특징을 학습하기 위해 경사 반전층(GRL)을 사용한 도메인 적대적 훈련을 활용한다.
• 특징을 공통 및 개인적 구성요소로 분해하여 도메인 불변 표현 학습을 촉진하기 위해 도메인 분리 네트워크(DSN)를 활용한다.
• 타겟(상스키트어) 데이터로는 5.5시간의 비번역 데이터만 사용하고, 소스(히нд어 또는 텔루구어) 데이터로는 대규모 번역된 데이터를 사용하며, 타겟 데이터에 대한 번역이 없음을 보장한다.
• 학습된 특징의 도메인 불변성을 평가하기 위해 t-SNE 시각화와 프레임 수준의 도메인 정확도를 적용한다.
• DSN의 다중 구성 요소 손실 함수를 사용하여 도메인 특화 및 공통 표현을 분리한다. 이는 재구성(MSE), 유사성, 차이 손실을 포함한다.
• 단어 오류율(WER)을 사용하여 상스키트어 테스트 세트에서 기준 DNN, 다중 작업 학습(MT), GRL, DSN 모델 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비번역 데이터 5.5시간으로만 훈련된 상스키트어와 같은 저자원 언어에서 지도되지 않은 도메인 적응(UDA)이 ASR 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 GRL과 DSN 아키텍처가 히нд어(고자원)와 상스키트어(저자원) 언어 간 도메인 불변 특징을 학습하는 데 얼마나 효과적인가?
• RQ3 히нд어 대신 언어학적으로 더 가까운 소스 언어(텔루구어)를 선택할 경우 상스키트어에서의 ASR 성능이 향상되는가?
• RQ4 학습된 특징이 소스 및 타겟 세트에서의 도메인 정확도로 측정된 도메인 독립성을 얼마나 잘 보여주는가?
• RQ5 DSN 손실 함수의 개별 구성 요소(재구성, 유사성, 차이)가 전체 모델 성능에 어떻게 기여하는가?

주요 결과

• DSN 모델은 단지 5.5시간의 비번역 상스키트어 데이터로 미세조정한 후 기준 DNN 대비 7.32% 절대적인 단어 오류율(WER) 감소를 달성한다.
• 같은 저자원 설정에서 GRL 모델은 기준 DNN 대비 WER을 6.71% 절대적으로 감소시켰다.
• 히нд어 대신 텔루구어를 소스 도메인으로 사용할 경우, DSN 모델은 상스키트어 테스트 세트에서 WER 13.72%를 기록하여 히нд어에서의 적응 대비 3.5–4.5% 향상된 성능을 보였다.
• UDA 모델에서의 프레임 수준 도메인 정확도가 크게 감소했다(예: DSN은 상스키트어 테스트에서 63.21%로, 다중 작업 학습 대비 91.86%보다 낮음). 이는 특징이 다중 작업 학습 대비 더 도메인 불변이 됨을 확인한다.
• DSN에서 유사성 손실가 없는 경우(β = 0) WER이 3.11% 증가(20.37%로)하여, 이는 개인 및 공통 특징을 분리하는 데 있어 유사성 손실의 핵심적 역할을 확인한다.
• DSN에서 재구성 손실로 MSE 대신 SIMSE를 사용할 경우 WER이 0.90% 악화됨(18.00% 대비 17.26%), 이는 재구성에 있어 MSE가 더 효과적임을 보여준다.