[논문 리뷰] Active and Semi-Supervised Learning in ASR: Benefits on the Acoustic and Language Models

Thomas Drugman, Janne Pylkkönen외 1명|arXiv (Cornell University)|2019. 03. 07.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 종단 간 음성 인식을 위한 신뢰도 기반 주도 학습(Active Learning, AL) 및 준지도 학습( Semi-Supervised Training, SST) 프레임워크를 제안하며, AL과 SST를 동시에 적용할 경우 랜덤 선택 대비 약 70%의 번역 비용 절감과 함께 단어 오류률(WER)을 12.5% 상대적으로 향상시킴을 입증한다. 이 방법은 초도 ASR 모델에서 도출된 저신뢰도 가설을 활용해 레이블링 우선순위를 정하고, 고신뢰도 자동 번역문을 재사용하여 비지도 학습을 수행함으로써 청각 모델 및 언어 모델 성능 향상에 상당한 기여를 한다.

ABSTRACT

The goal of this paper is to simulate the benefits of jointly applying active learning (AL) and semi-supervised training (SST) in a new speech recognition application. Our data selection approach relies on confidence filtering, and its impact on both the acoustic and language models (AM and LM) is studied. While AL is known to be beneficial to AM training, we show that it also carries out substantial improvements to the LM when combined with SST. Sophisticated confidence models, on the other hand, did not prove to yield any data selection gain. Our results indicate that, while SST is crucial at the beginning of the labeling process, its gains degrade rapidly as AL is set in place. The final simulation reports that AL allows a transcription cost reduction of about 70% over random selection. Alternatively, for a fixed transcription budget, the proposed approach improves the word error rate by about 12.5% relative.

연구 동기 및 목표

• 기본 성능(WER ~12.5%)이 높은 실제 ASR 응용 분야에서 주도 학습(AL)과 준지도 학습(SST)을 융합한 효과를 시뮬레이션하는 것.
• AL이 청각 모델(AM) 학습뿐 아니라 언어 모델(LM) 학습에도 유익한지 평가하고, 성과 향상 정도를 정량화하는 것.
• AL을 통해 더 많은 지도 학습 데이터를 확보할수록 SST의 확장성과 점차 감소하는 수익률을 조사하는 것.
• 단순한 신뢰도 필터링보다 더 정교한 신뢰도 모델이 데이터 선택 성능을 향상시키는지 여부를 평가하는 것.
• 교차 엔트로피 및 순서 구분 기반 학습 모두에서 비지도 데이터 통합 전략을 최적화하는 것.

제안 방법

• 초기 ASR 모델에서 생성된 자동 번역문의 신뢰도를 기반으로 데이터 선택을 수행하며, 토큰 포스터리어를 조각별 다항식 또는 선형 회귀를 통해 校정된 신뢰도 점수로 변환한다.
• 주도 학습은 가장 낮은 신뢰도를 가진 발화를 인간 레이블링 대상으로 선정하고, 비지도 학습 데이터는 높은 신뢰도를 가진 번역문을 활용하여 공동 학습을 수행한다.
• 청각 모델은 교차 엔트로피(XE) 및 순서 구분 기반 백트랜슬레이션 MMI(bMMI) 기준으로 학습하며, 200시간 분량의 비지도 데이터에 대해 SST를 적용한다.
• 언어 모델는 AL 또는 랜덤 선택을 통해 선별된 지도 학습 데이터를 재학습하며, 선택된 데이터에 맞게 어휘를 업데이트한다.
• 준지도 학습은 추가로 번역문 길이 및 빈도에 대한 제약 조건을 적용하여 데이터 품질을 향상시키기 위한 신뢰도 필터링을 수행한다.
• 최종 시뮬레이션은 AM 및 LM에 대해 AL과 SST를 동시에 적용하여, 랜덤 선택 대비 WER 향상도 및 번역 비용 절감 효과를 평가한다.

실험 결과

연구 질문

• RQ1 더 정교한 신뢰도 모델이 ASR 주도 학습의 데이터 선택 성능을 향상시키는가?
• RQ2 주도 학습은 언어 모델 학습에 유익한가? 그리고 그 정도는 어느 정도인가?
• RQ3 주도 학습을 통해 더 많은 지도 학습 데이터를 확보할수록 준지도 학습의 성과는 어떻게 변화하는가?
• RQ4 교차 엔트로피 및 순서 구분 기반 학습과 같은 다양한 청각 모델 학습 기준에서 AL 및 SST의 성과 향상이 일관된가?
• RQ5 AM 및 LM에 대해 AL과 SST를 동시에 적용했을 때 총 번역 비용과 WER에 미치는 영향은 어떠한가?

주요 결과

• 주도 학습은 랜덤 선택 대비 약 70%의 번역 비용 절감을 이끌어내며, 동일한 WER를 달성하기 위해 레이블링 데이터의 30%만으로도 충분하다.
• 100시간의 고정된 번역 예산 하에서, AL은 랜덤 선택 대비 WER을 12.5% 상대적으로 향상시킨다.
• 100시간의 레이블링 데이터 이후 언어 모델에 대해 AL과 SST를 조합하면 WER이 5.3% 상대적으로 향상되며, 이는 랜덤 선택으로 400시간의 데이터를 확보한 것과 동일한 효과를 가진다.
• 준지도 학습은 레이블링 과정 초반에 상당한 성과 향상을 이끌지만, 주도 학습이 적용된 후에는 특히 100시간 이후에 성능 향상이 급격히 둔화된다.
• 높은 신뢰도 임계치(0.7)임에도 불구하고, 비지도 데이터는 순서 구분 기반 bMMI 학습에서 성능을 약 2.5% 저하시켜, 노이즈가 많은 번역문이 구분 기반 모델에 악영향을 미칠 수 있음을 시사한다.
• 50시간의 AL 데이터와 200시간의 비지도 데이터를 조합한 경우, 청각 모델에서 AL과 SST의 조합이 WER을 4.5% 상대적으로 향상시키며, 공동 최적화의 가치를 입증한다.