[논문 리뷰] Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models

Liang-Hsuan Tseng, Yu-Kuan Fu외 2명|arXiv (Cornell University)|2021. 10. 07.

Speech Recognition and Synthesis참고 문헌 30인용 수 8

한 줄 요약

이 논문은 자기지도 학습 음성 표현(wav2vec 2.0)을 사용하여 중국어-영어 혼합어 말하기 인식을 향상시키기 위해 공동 CTC-LID 프레임워크를 제안한다. 영어 전용 데이터로 사전 훈련된 SSL 모델에서 프레임 수준의 언어 정체성을 활용함으로써, CTC 및 언어 식별 모듈을 공동으로 미세 조정함으로써 다국어 사전 훈련이 이루어진 경우에 특히 뚜렷한 정확도 향상 효과를 달성한다.

ABSTRACT

Code-switching (CS) is common in daily conversations where more than one language is used within a sentence. The difficulties of CS speech recognition lie in alternating languages and the lack of transcribed data. Therefore, this paper uses the recently successful self-supervised learning (SSL) methods to leverage many unlabeled speech data without CS. We show that hidden representations of SSL models offer frame-level language identity even if the models are trained with English speech only. Jointly training CTC and language identification modules with self-supervised speech representations improves CS speech recognition performance. Furthermore, using multilingual speech data for pre-training obtains the best CS speech recognition.

연구 동기 및 목표

• 제한된 텍스트 데이터로 인해 자원이 부족한 중국어-영어 혼합어 말하기 인식 문제를 해결하기 위해.
• 자기지도 학습 음성 표현 모델(예: wav2vec 2.0)이 본질적으로 프레임 수준의 언어 정체성을 인코딩하는지 조사하기 위해.
• 연결주의 시간 분류(CTC) 및 언어 식별(LID) 모듈을 공동으로 훈련시켜 혼합어 말하기 인식 성능을 향상시키기 위해.
• 사전 훈련 데이터 범위(단국어 대 다국어)가 후속 혼합어 인식 성능에 미치는 영향을 평가하기 위해.
• 사전 훈련된 SSL 모델이 자원이 부족한 혼합어 시나리오에 언어 인식 능력을 효과적으로 전이할 수 있음을 입증하기 위해.

제안 방법

• 7층의 CNN 및 트랜스포머 인코더에서 유도된 사전 훈련된 은닉 표현을 활용하여 wav2vec 2.0을 특징 추출기로 사용한다.
• 강제 정렬을 통해 감독을 받는 프레임 수준의 언어 식별(LID) 모듈을 별도로 훈련시어 각 프레임을 중국어, 영어 또는 침묵으로 분류한다.
• CTC와 LID 로짓을 합산하여 소프트맥스 정규화 이전에 융합하는 공동 CTC-LID 프레임워크를 구현한다: $ P(y|X,t) = \frac{\exp(\boldsymbol{z}_{t,y} + \boldsymbol{u}_{t,l(y)})}{\sum_{y'\in\mathcal{V}} \exp(\boldsymbol{z}_{t,y'} + \boldsymbol{u}_{t,l(y')})} $.
• wav2vec 2.0의 여러 층에서의 표현을 가중치 합 기반으로 융합하며, CTC 및 LID 모듈에 대해 학습 가능한 가중치를 부여한다.
• 사전 훈련 후 CTC 및 LID 모듈을 공동으로 미세 조정하여 정렬 및 성능 향상을 도모하고, 종단 간 공동 훈련에서 발생할 수 있는 불안정성을 방지한다.
• 훈련 전략을 비교: CTC 및 LID를 별도로 훈련, 종단 간 공동 훈련, 사전 훈련된 모델의 미세 조정.

실험 결과

연구 질문

• RQ1 영어 전용 데이터로 사전 훈련된 자기지도 학습 음성 표현 모델이 혼합어 음성에 대해 프레임 수준의 언어 정체성을 여전히 포착할 수 있는가?
• RQ2 SSL 특징를 사용해 CTC 및 LID 모듈을 공동으로 훈련하면 단독 CTC 훈련 대비 혼합어 말하기 인식 성능에 어떤 영향을 미치는가?
• RQ3 다국어 사전 훈련이 혼합어 말하기 인식 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 CTC 및 LID 예측 간의 정렬이 모호하거나 혼합어 영역에서 디코딩 정확도에 영향을 미치는가?
• RQ5 사전 훈련된 wav2vec 2.0 모델의 어떤 층이 CTC 및 LID 작업에 가장 기여하는가? 그리고 이들은 유사한 표현 패턴을 공유하는가?

주요 결과

• 영어 전용 데이터로 사전 훈련된 wav2vec 2.0의 자기지도 학습 음성 표현은 프레임 수준의 언어 정체성을 포함하고 있어, 추가적인 미세 조정 없이도 효과적인 언어 식별이 가능하다.
• 사전 훈련된 SSL 특징를 사용해 CTC 및 LID 모듈을 공동으로 훈련하면 혼합어 말하기 인식 성능이 향상되며, 특히 두 모듈을 함께 미세 조정할 경우 두드러진 성능 향상이 이루어진다.
• 다국어 데이터로 사전 훈련하면 혼합어 말하기 인식에서 가장 높은 성능을 기록하며, 단국어 사전 훈련보다 뛰어난 성능을 보인다.
• 사전 훈련된 CTC 및 LID 모듈을 공동으로 미세 조정하면 두 모듈 간의 정렬이 향상되고, 별도로 훈련하거나 처음부터 훈련하는 것보다 디코딩 정확도가 크게 향상된다.
• LID 모듈은 CTC 오류를 수정하는 데 기여한다 — 예를 들어, 공동으로 미세 조정된 모델을 사용할 경우, 단어 "break"가 중국어 문자 "不"로 잘못 인식되는 것을 방지하여 영어로 정확하게 디코딩된다.
• 가중치 합 기반 메커니즘을 통해 CTC 및 LID 작업이 wav2vec 2.0의 유사한 은닉 층에 의존하고 있음을 확인하였으며, 이는 혼합어 인식을 위해 공통된 문맥 표현에 의존하고 있음을 시사한다.