[논문 리뷰] Semi-supervised ASR by End-to-end Self-training

Yang Chen, Weiran Wang외 1명|arXiv (Cornell University)|2020. 01. 24.

Speech Recognition and Synthesis참고 문헌 33인용 수 7

한 줄 요약

이 논문은 빔 서치 디코더를 사용해 미라벨링된 데이터에 대해 반복적으로 새로운 이산 토큰 수준의 가짜 레이블을 생성하고, 이러한 가짜 레이블로 모델을 미세 조정함으로써 엔드 투 엔드 자기 학습 방식을 제안한다. 이 방법은 강력한 기본 CTC 시스템 대비 WSJ 테스트 세트에서 14.4% 상대적 WER 감소를 달성하며, 기반 시스템과 오라클 시스템 간의 성능 격차를 46% 줄였다.

ABSTRACT

While deep learning based end-to-end automatic speech recognition (ASR) systems have greatly simplified modeling pipelines, they suffer from the data sparsity issue. In this work, we propose a self-training method with an end-to-end system for semi-supervised ASR. Starting from a Connectionist Temporal Classification (CTC) system trained on the supervised data, we iteratively generate pseudo-labels on a mini-batch of unsupervised utterances with the current model, and use the pseudo-labels to augment the supervised data for immediate model update. Our method retains the simplicity of end-to-end ASR systems, and can be seen as performing alternating optimization over a well-defined learning objective. We also perform empirical investigations of our method, regarding the effect of data augmentation, decoding beamsize for pseudo-label generation, and freshness of pseudo-labels. On a commonly used semi-supervised ASR setting with the WSJ corpus, our method gives 14.4% relative WER improvement over a carefully-trained base system with data augmentation, reducing the performance gap between the base system and the oracle system by 50%.

연구 동기 및 목표

• 대량의 미라벨링된 데이터를 활용해 엔드 투 엔드 ASR에서 데이터 부족 문제를 해결하기 위해.
• 엔드 투 엔드 학습의 단순성을 유지하면서도 간단한 반복적 자기 학습 프레임워크를 통해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 가짜 레이블의 신선도, 빔 크기, 데이터 증강이 자기 학습 효과에 미치는 영향을 조사하기 위해.
• 완전한 라벨링 데이터로 훈련된 오라클 시스템과의 성능 격차를 줄이기 위해.

제안 방법

• 방법은 사전에 훈련된 CTC 모델에서 시작하여, 빔 서치 디코더를 사용해 미라벨링된 음성 입력의 미니배치에 대해 반복적으로 이산 토큰 수준의 가짜 레이블을 생성한다.
• 생성된 가짜 레이블(입력, 레이블) 쌍은 즉각적인 모델 미세 조정을 위해 지도 학습 데이터에 증강된다.
• 가짜 레이블 생성과 지도 학습 업데이트를 번갈아가며 수행함으로써 통합 목적 함수에 대해 교차 최적화를 수행한다.
• 속도 왜곡과 스펙트럼 마스킹을 사용해 지도 학습 및 비지도 학습 데이터 모두에 데이터 증강을 적용한다.
• 가짜 레이블 생성에 사용되는 빔 크기 $W$ 는 튜닝되며, 더 작은 $W$ 가 효율성과 비교적 동일한 성능을 제공하므로 선호된다.
• 이 방법은 소프트 포스터리어 또는 일회성 가짜 레이블링을 피하고, 실시간으로 생성되는 신선한 하드 레이블을 선호한다.

실험 결과

연구 질문

• RQ1 준지도 학습 ASR에서 반복적이고 실시간 가짜 레이블링은 일회성 또는 정적 가짜 레이블링보다 어떻게 다를까?
• RQ2 빈 서치 디코더의 빔 크기 $W$ 는 가짜 레이블 품질과 최종 모델 성능에 어떤 영향을 미치는가?
• RQ3 지도 학습 및 비지도 학습 데이터 양쪽에 데이터 증강을 적용하면 자기 학습 성능에 어떤 영향을 미치는가?
• RQ4 모델 정확도와 수렴 속도 측면에서 하드 가짜 레이블은 UDA에서 유도된 소프트 타겟보다 어떻게 다를까?
• RQ5 엔드 투 엔드 자기 학습은 기반 시스템과 완전한 지도 학습 데이터로 훈련된 오라클 시스템 간의 성능 격차를 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 자기 학습 방법은 데이터 증강을 적용한 잘 튜닝된 기본 CTC 시스템 대비 WSJ 테스트 세트에서 14.4% 상대적 WER 감소를 달성한다.
• 개발 세트에서는 PER이 31.6% 상대적으로 감소하여 강력한 일반화 성능 향상을 보였다.
• 빔 크기 $W=1$ 이 성능과 훈련 속도 사이의 최적의 균형을 이룬다. $W=15$ 는 상당한 비용 증가에도 불구하고 유의미한 성능 향상은 기대하기 어렵다.
• 일회성 가짜 레이블링($W=20$)은 반복적 자기 학습($W=1$)보다 성능이 열 劣하며, 이는 신선한 레이블이 오래된 레이블보다 더 효과적임을 시사한다.
• 하드 가짜 레이블은 UDA에서 유도된 소프트 타겟보다 성능이 뛰어나며, 후자의 개발 세트 PER은 14.56%였지만 제안된 방법은 11.51%를 기록했다.
• 기반 시스템(11.43% WER)과 오라클 시스템(7.87% WER) 간의 성능 격차를 46% 줄였다.