[논문 리뷰] Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition

Yosuke Higuchi, Niko Moritz외 2명|arXiv (Cornell University)|2021. 06. 16.

Speech Recognition and Synthesis참고 문헌 45인용 수 4

한 줄 요약

이 논문은 종단간 자동 음성 인식(ASR)을 위한 단순하면서도 효과적인 준지도학습 방법인 모멘타 피로소라벨링(MPL)을 제안한다. MPL은 온라인 모델과 모멘타 평균 가중치를 가진 오프라인 모델을 사용하여 훈련 중에 반복적으로 피로소라벨을 개선하며, 범용 검색 또는 언어 모델이 필요 없이 다양한 데이터 및 도메인 불일치 상황에서도 최신 기술 성능을 달성한다.

ABSTRACT

Pseudo-labeling (PL) has been shown to be effective in semi-supervised automatic speech recognition (ASR), where a base model is self-trained with pseudo-labels generated from unlabeled data. While PL can be further improved by iteratively updating pseudo-labels as the model evolves, most of the previous approaches involve inefficient retraining of the model or intricate control of the label update. We present momentum pseudo-labeling (MPL), a simple yet effective strategy for semi-supervised ASR. MPL consists of a pair of online and offline models that interact and learn from each other, inspired by the mean teacher method. The online model is trained to predict pseudo-labels generated on the fly by the offline model. The offline model maintains a momentum-based moving average of the online model. MPL is performed in a single training process and the interaction between the two models effectively helps them reinforce each other to improve the ASR performance. We apply MPL to an end-to-end ASR model based on the connectionist temporal classification. The experimental results demonstrate that MPL effectively improves over the base model and is scalable to different semi-supervised scenarios with varying amounts of data or domain mismatch.

연구 동기 및 목표

• 높은 표본 비용이 수반되는 종단간 자동 음성 인식(ASR)에서 라벨이 부족한 문제를 해결하기 위해.
• 데이터 부족 또는 도메인 불일치 상황에서 기존 반복적 피로소라벨링(IPL) 방법의 불안정성과 비효율성을 극복하기 위해.
• 히우리스틱 라벨 업데이트 제어가 필요 없고 외부 언어 모델 또는 범용 검색에 의존도를 줄이는 스케일러블한 단일 단계 훈련 프레임워크를 개발하기 위해.
• 모멘타 기반 가중치 평균화를 통한 모델 앙상블을 활용해 준지도학습 ASR의 일반화 및 강인성을 향상시키기 위해.
• 다양한 양의 데이터와 도메인 이동 상황에서도 효과적인 자가학습을 가능하게 하여 실제 적용 가능성 향상시키기 위해.

제안 방법

• 온라인 모델과 오프라인 모델을 갖춘 이중 모델 프레임워크를 도입하며, 오프라인 모델은 온라인 모델의 가중치에 대해 모멘타 기반 이동 평균을 유지한다.
• 오프라인 모델을 사용해 실시간으로 비라벨 데이터의 피로소라벨을 생성하며, 이는 훈련 중에 교사 모델 역할을 한다.
• 온라인 모델을 라벨이 있는 데이터와 함께 오프라인 모델에서 동적으로 업데이트된 피로소라벨을 사용해 훈련한다.
• 오프라인 모델의 가중치를 지수 평균화를 통해 업데이트한다: $\phi \leftarrow \alpha \phi + (1 - \alpha)\xi$, 여기서 $\alpha$는 모멘타 계수이다.
• 기본 모델 유지와 적응 속도 간 균형을 맞추기 위해 데이터 기반 가중치 $w$를 사용해 모멘타 업데이트를 제어하여 수동 하이퍼파라미터 튜닝의 필요성을 줄인다.
• 단일 훈련 루프 내에서 이 방법을 적용해 재학습이나 복잡한 스케줄링 없이 안정적이고 효율적인 자가학습을 가능하게 한다.

Table 2: WER [ $\%$ ] and WRR [ $\%{\uparrow}$ ] on out-domain TEDLIUM3 (TED3) setting.

실험 결과

연구 질문

• RQ1 모멘타 기반 이중 모델 프레임워크는 기존 또는 반복적 접근 방식에 비해 준지도학습 ASR에서 피로소라벨링의 안정성과 효과성 향상에 기여하는가?
• RQ2 MPL은 비라벨 데이터의 양이 다양하거나 라벨이 있는 데이터와 비라벨 데이터 간 도메인 불일치가 발생할 경우 어떻게 성능을 발휘하는가?
• RQ3 외부 언어 모델이나 범용 검색을 사용하지 않고 피로소라벨 생성에 대해 MPL이 얼마나 낮은 의존도를 보이는가?
• RQ4 모멘타 업데이트 가중치 $w$는 모델 수렴과 성능에 어떤 영향을 미치며, 철저한 하이퍼파라미터 검색 없이 효과적으로 튜닝될 수 있는가?
• RQ5 최종 ASR 정확도와 훈련 효율성 측면에서 MPL은 반복적 피로소라벨링(IPL)을 능가하는가?

주요 결과

• LS-100/LS-360 설정에서 MPL은 LibriSpeech test-clean에서 WER 9.6%를 기록했으며, test-other에서는 22.6%를 기록하여 반복적 피로소라벨링(PL4: 9.9% / 24.2%)과 표준 PL(24.4% / 39.2%)을 모두 능가했다.
• LS-100/LS-860 설정에서는 MPL이 test-clean에서 WER 9.2%, test-other에서는 18.1%로 개선되어 PL4(9.4% / 20.7%)를 능가했으며, 더 큰 비라벨 데이터에 대한 확장성도 입증했다.
• 도메인 불일치 상황(LS-100/TED3)에서 MPL은 TED3 테스트 세트에서 WER 17.6%를 기록했으며, PL4(21.3%)를 크게 능가했고 분포 이동에 대한 강인성을 보였다.
• 제안된 모멘타 튜닝 전략($w=0.5$)은 모델 적응을 효과적으로 제어했으며, 낮은 $w$에서의 불안정성과 높은 $w$에서의 성능 저하를 방지했고, 수동 튜닝이 거의 필요 없었다.
• SpecAugment 없이 실험한 결과 MPL의 성능은 39.7% / 48.1% WER로 떨어졌으며, 이는 데이터 증강이 MPL의 효과성과 일반화 능력에 핵심적임을 시사한다.
• 체크포인트 평균화 후 온라인 모델의 성능은 오프라인 모델과 거의 동일했으며, 이는 훈련 과정의 안정성과 일관성을 검증한다.