[논문 리뷰] Cross-Corpora Spoken Language Identification with Domain Diversification and Generalization

Spandan Dey, Md Sahidullah외 1명|arXiv (Cornell University)|2023. 02. 10.

Speech Recognition and Synthesis참고 문헌 109인용 수 14

한 줄 요약

이 논문은 저자원 인도어 언어의 교차 코퍼스 음성 언어 식별(LID) 성능을 향상시키기 위해 도메인 다변화 및 도메인 일반화 기법을 제안한다. 최대한의 다양성 인식을 갖춘 계단식 오디오 증강 기법과 증강 유형을 가짜 도메인으로 간주함으로써, 저자원 환경에서 ECAPA-TDNN 모델의 도메인 불변성 및 도메인 인지 학습을 통해 기준 모델 대비 교차 코퍼스 EER을 최대 5.23% 감소시킨다.

ABSTRACT

This work addresses the cross-corpora generalization issue for the low-resourced spoken language identification (LID) problem. We have conducted the experiments in the context of Indian LID and identified strikingly poor cross-corpora generalization due to corpora-dependent non-lingual biases. Our contribution to this work is twofold. First, we propose domain diversification, which diversifies the limited training data using different audio data augmentation methods. We then propose the concept of maximally diversity-aware cascaded augmentations and optimize the augmentation fold-factor for effective diversification of the training data. Second, we introduce the idea of domain generalization considering the augmentation methods as pseudo-domains. Towards this, we investigate both domain-invariant and domain-aware approaches. Our LID system is based on the state-of-the-art emphasized channel attention, propagation, and aggregation based time delay neural network (ECAPA-TDNN) architecture. We have conducted extensive experiments with three widely used corpora for Indian LID research. In addition, we conduct a final blind evaluation of our proposed methods on the Indian subset of VoxLingua107 corpus collected in the wild. Our experiments demonstrate that the proposed domain diversification is more promising over commonly used simple augmentation methods. The study also reveals that domain generalization is a more effective solution than domain diversification. We also notice that domain-aware learning performs better for same-corpora LID, whereas domain-invariant learning is more suitable for cross-corpora generalization. Compared to basic ECAPA-TDNN, its proposed domain-invariant extensions improve the cross-corpora EER up to 5.23%. In contrast, the proposed domain-aware extensions also improve performance for same-corpora test scenarios.

연구 동기 및 목표

• 코퍼스에 의존하는 비언어적 편향으로 인해 저자원 LID 시스템의 교차 코퍼스 일반화 성능이 열 劣화되는 문제를 해결한다.
• 사용 가능한 제한된 내부 코퍼스로 훈련된 LID 모델이 새로운 다양한 테스트 코퍼스에서 평가되었을 때의 강건성을 향상시킨다.
• 실제 세계의 도메인 변동을 시뮬레이션할 수 있는 효과적인 데이터 증강 전략을 개발한다.
• 실제 타겟 도메인 데이터가 없더라도 증강 기반의 가짜 도메인을 활용한 도메인 일반화를 도입한다.
• 동일 코퍼스 및 교차 코퍼스 설정에서 최적의 성능을 내기 위해 도메인 불변성 및 도메인 인지 학습 전략을 비교한다.

제안 방법

• 다양한 오디오 증강 방법(예: 음성 향상, 코덱 기반, 노이즈 주입 등)을 사용해 훈련 데이터의 다양성을 높이는 도메인 다변화 기법을 제안한다.
• 다양성 최적화를 위한 최적화된 폴드 요소를 갖춘 최대한의 다양성 인식 계단식 증강 기법을 도입한다.
• 증강 유형을 가짜 도메인으로 간주하여 실제 타겟 도메인 데이터가 없더라도 도메인 일반화(DG)를 가능하게 한다.
• 기울기 반전 기법과 MMD 기반 손실을 활용해 도메인 특수 표현을 최소화함으로써 도메인 불변성 학습을 구현한다.
• 다중 작업 학습을 통해 모델이 언어 및 도메인 특수 신호를 모두 학습할 수 있도록 도메인 인지 학습을 구현한다.
• 도메인 일반화를 위한 확장 기능을 갖춘 최신의 DNN 아키텍처인 ECAPA-TDNN에서 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 오디오 증강 전략이 실제로 관측되지 않은 도메인 변동을 효과적으로 시뮬레이션하여 교차 코퍼스 LID 일반화 성능을 향상시킬 수 있는가?
• RQ2 증강 유형을 가짜 도메인으로 간주함으로써 저자원 LID에서 효과적인 도메인 일반화가 가능할 수 있는가?
• RQ3 교차 코퍼스 LID 일반화에 있어 도메인 불변성 학습이 도메인 인지 학습보다 더 효과적인가?
• RQ4 도메인 다변화 전략은 새로운 코퍼스에서의 블라인드 평가에서 기존 증강 기법보다 우수한 성능을 보이는가?
• RQ5 도메인 일반화 기법은 동일 코퍼스와 교차 코퍼스 평가 간 성능 격차를 줄일 수 있는가?

주요 결과

• 최대한의 다양성 인식 계단식 증강 기법을 활용한 제안된 도메인 다변화 전략은 VoxLingua107의 인도어 부분에 대한 블라인드 평가에서 기존 증강 기법보다 뛰어난 성능을 보였다.
• 도메인 일반화 기법이 교차 코퍼스 일반화 성능을 크게 향상시켰으며, 기준 ECAPA-TDNN 대비 EER을 최대 5.23% 감소시켰다.
• 도메인 불변성 학습이 교차 코퍼스 일반화에 더 효과적인 반면, 도메인 인지 학습은 동일 코퍼스 테스트 세트에서 더 높은 성능를 달성했다.
• 다양한 증강 방법에서 유도된 가짜 도메인을 활용함으로써, 레이블이 없는 타겟 도메인 데이터 없이도 효과적인 도메인 일반화가 가능했다.
• 음성 향상 및 코덱 기반 증강 기법 등 일부 오디오 증강 기법이 KGP 및 LDC 테스트 세트에서 강건성을 향상시키는 데 특히 효과적이었다.
• 개선에도 불구하고 여전히 동일 코퍼스와 교차 코퍼스 평가 간 성능 격차가 뚜렷하게 남아 있어, 더 현실적인 데이터 증강 기법이 더 향상된 성능 향상에 기여할 여지가 있음을 시사한다.