[논문 리뷰] Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples

Jihwan Bang, Heesu Kim외 2명|arXiv (Cornell University)|2020. 06. 19.

Speech Recognition and Synthesis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 레이블링 비용을 줄이기 위해, 비정상적인 가짜 레이블이 포함된 비정상적인 샘플을 활용한 일致성 정규화를 도입한 엔드 투 엔드 음성 인식에서의 활성 학습을 향상시키는 훈련 파이프라인을 제안한다. 원래 입력과 변형된 입력 간의 모델 일致성을 확보하기 위해 신중하게 설계된 오디오 증강 기법을 적용함으로써, 전체 레이블링 예산의 1/3일 때 CER에서 최대 12.76%의 레이블링 비용 절감을 이끌었으며, 추가적인 레이블링 노력 없이도 표준 활성 학습을 크게 능가한다.

ABSTRACT

The cost of annotating transcriptions for large speech corpora becomes a bottleneck to maximally enjoy the potential capacity of deep neural network-based automatic speech recognition models. In this paper, we present a new training pipeline boosting the conventional active learning approach targeting label-efficient learning to resolve the mentioned problem. Existing active learning methods only focus on selecting a set of informative samples under a labeling budget. One step further, we suggest that the training efficiency can be further improved by utilizing the unlabeled samples, exceeding the labeling budget, by introducing sophisticatedly configured unsupervised loss complementing supervised loss effectively. We propose new unsupervised loss based on consistency regularization, and we configure appropriate augmentation techniques for utterances to adopt consistency regularization in the automatic speech recognition task. From the qualitative and quantitative experiments on the real-world dataset and under real-usage scenarios, we show that the proposed training pipeline can boost the efficacy of active learning approaches, thus successfully reducing a sustainable amount of human labeling cost.

연구 동기 및 목표

• 대규모 음성 인식 데이터셋에서 높은 인간 레이블링 비용이 발생함으로써 엔드 투 엔드 ASR 모델의 확장성에 제약이 발생하는 문제를 해결하기 위해.
• 레이블링 예산을 초월한 비라벨 데이터를 활용해 레이블 효율성을 향상시키기 위해.
• ASR를 위한 준감독 학습에서 노이즈가 있는 가짜 레이블로 인한 성능 저하 문제를 견고한 정규화 기법으로 완화하기 위해.
• 언어적 내용을 유지하면서도 모델의 강건성을 높일 수 있도록 설계된 오디오 증강 기법을 통해 ASR에서 일치성 정규화를 가능하게 하기 위해.
• 실제로 다양한 도메인을 가진 음성 데이터에 대해 실용적이고 저비용 설정에서 제안된 파이프라인의 유효성을 검증하기 위해.

제안 방법

• 비라벨 데이터로부터 가짜 레이블을 생성한 준감독 학습 기법과 활성 학습을 융합한 하이브리드 훈련 파이프라인을 도입한다 (HLS).
• 동일한 발화문의 원본 및 증강된 버전 간에 일致한 예측을 유도하기 위해 일치성 정규화(CR)를 적용한다.
• 음성의 발음 내용을 유지하면서도 ASR에서 효과적인 CR을 가능하게 하는 도메인 특화 오디오 증강 기법(예: 속도 왜곡, 노이즈 주입 등)을 설계한다.
• 이중 단계 프로세스를 사용한다: 첫 번째로 고신뢰도 비라벨 샘플에 대해 가짜 레이블을 생성하고, 두 번째로 원본 및 증강된 입력에 대한 예측을 정규화하기 위해 CR 손실을 적용한다.
• 계산 비용을 줄이면서도 모델의 최신 상태를 유지하기 위해 고정 간격으로 주기적인 가짜 레이블링을 구현한다 (빔 서치 디코딩 사용).
• 다양한 도메인 환경에서 저신뢰도 가짜 레이블을 제거하기 위해 사전 필터링 단계를 도입한다 (임계값 τ = -0.5).

실험 결과

연구 질문

• RQ1 엔드 투 엔드 자동 음성 인식에서 노이즈가 있는 가짜 레이블로 인한 성능 저하를 일치성 정규화로 효과적으로 완화할 수 있는가?
• RQ2 언어적 내용을 손상시키지 않으면서도 ASR에서 일치성 정규화에 적합한 오디오 증강 기법은 무엇인가?
• RQ3 제한된 레이블링 예산 하에서 제안된 파이프라인이 표준 활성 학습 대비 레이블 효율성을 얼마나 향상시키는가?
• RQ4 초기 데이터와 비라벨 데이터가 서로 다른 도메인에서 올 경우, 비라벨 데이터로부터 유래한 가짜 레이블 샘플이 모델 성능 향상에 얼마나 기여하는가?
• RQ5 훈련 효율성과 모델 성능의 균형을 고려할 때, 가짜 레이블링의 최적 빈도는 어느 정도인가?

주요 결과

• 레이블링 예산이 전체 비라벨 데이터의 1/3일 때, 제안된 +CR-SA 파이프라인은 표준 활성 학습 대비 문자 오류률(CER)을 12.76% 감소시켰다.
• 레이블링 예산이 전체의 1/10일 경우, 기존 활성 학습 대비 4.02%의 CER 향상을 달성했다.
• 라벨링 데이터 137시간(전체 386시간의 1/3)만으로도 전체 배치 모델에 비해 0.82%포인트 이내의 성능를 달성하여 강력한 레이블 효율성을 입증했다.
• 일치성 정규화는 가짜 레이블의 오류를 크게 줄였으며, +CR-Xs는 비정규화 기반 모델과 달리 훈련 전반에 걸쳐 안정적이고 향상되는 P-CER 성능를 보였다.
• 1, 3, 또는 5 에포크 간격으로 주기적인 가짜 레이블링을 적용했을 때 성능 저하가 오직 0.2%포인트 이내였으며, 이는 대규모 비라벨 데이터 세트를 효율적으로 활용할 수 있음을 의미한다.
• AI 어시스턴트와 지도 내비게이션 등 다양한 도메인 환경에서 +CR-SA-τ 파이프라인은 전체 레이블링 데이터의 일부만으로도 전체 배치 성능 수준에 가까운 성능을 복원했다.