[논문 리뷰] Continuous Pseudo-Labeling from the Start

Dan Berrebbi, Ronan Collobert외 3명|arXiv (Cornell University)|2022. 10. 17.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 자동 음성 인식(ASR)에서 학습의 초반 단계부터 지속적인 가짜 레이블을 제안하며, 초기 지도 학습 전처리 단계가 필요 없도록 한다. 변화하는 가짜 레이블 간 레벤슈타인 거리 기반의 동적 캐시 제어와 예측 분포 전역에서의 샘플링을 통해 학습을 안정화시키며, 외부 언어 모델 없이 LibriSpeech 및 Common Voice에서 최신 기술 수준의 성능을 달성한다. 특히 자원이 적은 환경에서도 이전 방법들을 능가한다.

ABSTRACT

Self-training (ST), or pseudo-labeling has sparked significant interest in the automatic speech recognition (ASR) community recently because of its success in harnessing unlabeled data. Unlike prior semi-supervised learning approaches that relied on iteratively regenerating pseudo-labels (PLs) from a trained model and using them to train a new model, recent state-of-the-art methods perform `continuous training' where PLs are generated using a very recent version of the model being trained. Nevertheless, these approaches still rely on bootstrapping the ST using an initial supervised learning phase where the model is trained on labeled data alone. We believe this has the potential for over-fitting to the labeled dataset in low resource settings and that ST from the start of training should reduce over-fitting. In this paper we show how we can do this by dynamically controlling the evolution of PLs during the training process in ASR. To the best of our knowledge, this is the first study that shows the feasibility of generating PLs from the very start of the training. We are able to achieve this using two techniques that avoid instabilities which lead to degenerate models that do not generalize. Firstly, we control the evolution of PLs through a curriculum that uses the online changes in PLs to control the membership of the cache of PLs and improve generalization. Secondly, we find that by sampling transcriptions from the predictive distribution, rather than only using the best transcription, we can stabilize training further. With these techniques, our ST models match prior works without an external language model.

연구 동기 및 목표

• 자신의 학습에서 과적합을 방지하기 위해 기존의 자율 학습에서 흔히 사용되는 초기 지도 학습 전처리 단계를 제거함으로써 자원이 적은 ASR에서 문제를 해결하고자 한다.
• 초기 학습 단계에서의 불안정성을 피하기 위해 첫 번째 학습 스텝부터 안정적이고 효과적인 지속적인 가짜 레이블을 제공하고자 한다.
• 레이블의 진화에 기반해 가짜 레이블 캐시를 동적으로 제어함으로써 자원이 적은 환경에서의 일반화 성능을 향상시키고자 한다.
• 가장 가능성 높은 번역 외에 예측 분포 전역에서 샘플링하는 것이 학습의 안정성과 성능 향상에 기여함을 입증하고자 한다.
• 다양한 데이터셋, 특히 Common Voice를 포함한 다양한 데이터셋에서의 검증을 통해 방법의 이식 가능성과 강건성을 입증하고자 한다.

제안 방법

• 연속적인 가짜 레이블 간의 레벤슈타인 거리를 측정하여 동적 커리큘럼을 도입함으로써, 안정적이고 진화하는 전사 결과만을 캐시에 유지한다.
• 탐욕적 디코딩 대신 모델의 전체 예측 분포에서 정렬 샘플링을 사용하여 노이즈를 감소시키고 레이블 품질을 향상시킨다.
• 최근 모델 버전을 기반으로 온라인 가짜 레이블링을 적용하여 반복적인 티처-스터디언 루프 없이 지속적인 학습을 가능하게 한다.
• 레이블 일관성과 시간에 따른 변화에 따라 진화하는 캐시 메커니즘을 도입하여 신뢰할 수 있고 진화하는 예측을 우선시한다.
• 특히 자원이 적은 환경에서 학습을 안정화시키기 위해 동적 배치 처리와 증가된 배치 크기를 적용한다.
• 하이퍼파rameter 재조정 없이도 다양한 아키텍처와 위치 임베딩(예: 사인파, CAPE)에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 초기 지도 학습 전처리 단계 없이 학습의 첫 단계부터 지속적인 가짜 레이블링을 효과적으로 적용할 수 있는가?
• RQ2 자원이 적은 ASR 환경에서 자율 학습의 초기 단계에서 발생하는 학습 불안정성을 어떻게 완화할 수 있는가?
• RQ3 최상의 전사 결과 외에 전체 예측 분포에서 샘플링하는 것이 단지 가장 가능성 높은 전사 결과만 사용하는 것보다 안정성과 성능 향상에 기여하는가?
• RQ4 가짜 레이블의 진화 기반 동적 커리큘럼이 일반화 성능 향상과 과적합 감소에 기여하는가?
• RQ5 제안된 방법은 하이퍼파rameter 재조정 없이 다양한 데이터셋과 모델 아키텍처로 일반화되는가?

주요 결과

• 이 방법은 전처리 없이 LibriSpeech 10h 및 100h 설정에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가하거나 동등하게 유지한다.
• LibriSpeech 10h 서브셋에서, dev-clean에서는 WER 8.2, dev-other에서는 WER 13.1을 기록하며, 전처리가 있는 slimIPL를 능가한다.
• Common Voice 프랑스어 설정에서, 10h 자원이 적은 환경에서 WER을 18% 절감하여 valid에서 24.6, test에서 26.0의 WER을 기록한다.
• 표준 slimIPL가 전처리 없이 발산하는 10h Libri-Light 서브셋(24명의 화자)에서도 학습이 안정화됨을 보였다.
• 동적 캐시 제어와 정렬 샘플링이 안정성에 핵심적임을 확인하였으며, 추론 실험에서 둘 중 하나를 제거하면 발산함을 확인하였다.
• 이 방법은 사인파, CAPE 등 다양한 위치 임베딩과 모델 아키텍처로 일반화되며, 설정 간 하이퍼파rameter 조정 없이도 적용 가능하다.