[논문 리뷰] Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks

Chia-Yu Li, Ngoc Thang Vu|arXiv (Cornell University)|2021. 12. 12.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 병행 데이터가 없이 순환 일致성 적대적 훈련을 활용하여 단일 언어 문장을 기반으로 코드 스위칭을 말하는 스타일로 간주하는 CycleGAN 기반 프레임워크를 제안한다. 이는 SEAME 코퍼스에서 언어 모델링 및 음성 인식(ASR) 성능을 크게 향상시킨다. 모델은 실제 말하기 패턴(예: 끊김, 혼합 언어 분포)을 모방하는 더 자연스럽고 언어적으로 일관된 코드 스위칭 텍스트를 생성한다.

ABSTRACT

This paper presents our latest effort on improving Code-switching language models that suffer from data scarcity. We investigate methods to augment Code-switching training text data by artificially generating them. Concretely, we propose a cycle-consistent adversarial networks based framework to transfer monolingual text into Code-switching text, considering Code-switching as a speaking style. Our experimental results on the SEAME corpus show that utilising artificially generated Code-switching text data improves consistently the language model as well as the automatic speech recognition performance.

연구 동기 및 목표

• 코드 스위칭 언어 모델링에서의 데이터 부족 문제를 해결하기 위해 합성 훈련 데이터를 생성하는 것.
• 데이터 증강을 통해 코드 스위칭 음성에 대한 자동 음성 인식(ASR) 성능을 향상시키는 것.
• 코드 스위칭을 번역 작업이 아닌 말하는 스타일로 모델링하여 엔드 투 엔드 학습을 가능하게 하는 것.
• 실제 말하기 패턴(예: 유창성 및 억양 포함)을 반영한 더 자연스럽고 언어적으로 일관된 코드 스위칭 텍스트를 생성하는 것.
• 순환 일치 적대적 훈련이 언어 모델링 및 ASR 성능에 미치는 영향을 평가하는 것.

제안 방법

• 프레임워크는 순차적에서 순차적(S2S) 모델을 사용하여 단일 언어에서 코드 스위칭으로의 번역 매핑을 사전 훈련한다.
• 병행된 단일 언어-코드 스위칭 쌍이 필요 없이 순환 일치 적대적 훈련을 활용하여 CycleGAN을 적용해 단일 언어 텍스트를 코드 스위칭 텍스트로 변환한다.
• 모델은 두 개의 생성기(G: 단일 언어 → 코드 스위칭, F: 코드 스위칭 → 단일 언어)와 두 개의 판별기를 사용하여 분포 유사성과 순환 일관성을 강제한다.
• 훈련 목표는 적대적 손실, 순환 일관성 손실, 정체성 손실을 결합하여 의미를 유지하고 생성 품질을 향상시킨다.
• 단일 언어 데이터는 S2S 모델을 사전 훈련하는 데 활용되며, 이후 CycleGAN 프레임워크 내에서 미세 조정되어 스타일 전이 성능을 향상시킨다.
• 프레임워크는 SEAME 코퍼스에서 평가되며, 기준 모델 대비 생성된 텍스트 분포와 ASR 성능을 비교한다.

Figure 1: Network architecture of CycleGAN for CS text generation. X refers to monolingual text, e.g. Chinese and Y refers to CS text, e.g. Chinese English CS sentences.

실험 결과

연구 질문

• RQ1 코드 스위칭을 합성 훈련 데이터를 생성하기 위해 효과적으로 말하는 스타일로 모델링할 수 있는가?
• RQ2 기준 모델 및 S2S 방법 대비 CycleGAN 기반 텍스트 생성이 언어 모델링의 난이도를 줄이는가?
• RQ3 인위적으로 생성된 코드 스위칭 텍스트는 실제 데이터에서 자동 음성 인식(ASR) 성능을 향상시킬 수 있는가?
• RQ4 생성된 텍스트가 실제 코드 스위칭 말하기 패턴의 언어 분포(예: 혼합 수준)와 얼마나 유사한가?
• RQ5 모델이 끊김이나 반복과 같은 자연스러운 말하기 행동을 어느 정도 모방하는가?

주요 결과

• CycleGAN 기반 모델은 ASR 평가 세트에서 21.9%의 단어 오류률(WER)을 기록하여 기준 모델(22.4%) 및 S2S(22.1%) 대비 0.5% 향상되어 일관된 ASR 성능 향상을 보였다.
• CycleGAN로 생성된 데이터를 사용한 언어 모델링의 난이도는 10.39로, 모든 순환 손실 가중치에서 기준 모델 및 S2S 모델을 초월했다.
• CycleGAN로 생성된 텍스트의 코드 혼합 강도(CMI) 분포는 실제 SEAME 코퍼스와 유사했으며, 특히 (30,45]% 및 (45,50]% CMI 범위에서 높은 유사도를 보였다.
• CycleGAN로 생성된 텍스트는 반복(예: 'take take')과 의미 이동(예: 'logistics'를 '2016'으로 치환)과 같은 자연스러운 말하기 행동을 보이며 실제 말하기 스타일을 모방하는 것으로 나타났다.
• 모델은 의미를 유지하면서 자연스러운 코드 스위칭 패턴을 도입한 의미 있는 코드 스위칭 문장을 성공적으로 생성했으며, 단순한 사전 기반 대체 방식과는 달리 유의미한 차이를 보였다.
• 제거 실험 결과, 순환 일관성 손실이 핵심임을 확인했다. 최적의 성능은 λ₁ = 0.9에서 달성되었으며, 이 때 MER는 10.77%였으며, 이는 순환 손실이 생성 과정을 안정화시킨다는 것을 시사한다.