[논문 리뷰] On the Inductive Bias of Word-Character-Level Multi-Task Learning for Speech Recognition

Jan Kremer, Lasse Borgholt외 1명|arXiv (Cornell University)|2018. 11. 28.

Speech Recognition and Synthesis참고 문헌 30인용 수 4

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC)를 사용하여 단어 수준 및 문자 수준의 자동 음성 인식(ASR)을 공동으로 학습하는 다중 작업 학습(MTL) 프레임워크를 제안한다. 단어 수준의 지도 학습과 문자 수준의 정규화를 결합함으로써 모델은 23%의 단어 오류율(WER)을 달성하여 단일 작업 기반 보조 모델들을 크게 능가하며, 알 수 없는 토큰 예측을 완전히 제거한다. 주요 기여는 MTL의 인도적 편향이 단어 빈도와 단어 길이 선호도 사이의 보간으로 실험적으로 규명된 것이다.

ABSTRACT

End-to-end automatic speech recognition (ASR) commonly transcribes audio signals into sequences of characters while its performance is evaluated by measuring the word-error rate (WER). This suggests that predicting sequences of words directly may be helpful instead. However, training with word-level supervision can be more difficult due to the sparsity of examples per label class. In this paper we analyze an end-to-end ASR model that combines a word-and-character representation in a multi-task learning (MTL) framework. We show that it improves on the WER and study how the word-level model can benefit from character-level supervision by analyzing the learned inductive preference bias of each model component empirically. We find that by adding character-level supervision, the MTL model interpolates between recognizing more frequent words (preferred by the word-level model) and shorter words (preferred by the character-level model).

연구 동기 및 목표

• 작은 데이터셋에서 단어 수준의 ASR 모델을 처음부터 학습하는 것이 가능할지, 이는 이전의 부정적인 결과들과는 반대로 검토하는 것.
• 단어 수준 및 문자 수준의 지도 학습을 통한 다중 작업 학습이 모델의 인도적 편향을 어떻게 형성하는지 분석하는 것.
• 학습 중에 단어 인식의 학습 역학을 빈도 및 길이 분포 측면에서 이해하는 것.
• 단어 수준 및 문자 수준의 지도 학습을 조합함으로써 단일 지도 학습 기반 모델들보다 일반화 성능이 향상되는지 확인하는 것.

제안 방법

• 모델은 공유된 인코더와 별도의 단어 수준 및 문자 수준 출력 헤드를 갖는 연결주의 시계열 분류(CTC)를 사용한다.
• 단어 수준 출력은 일반 단어의 어휘 집합을 기반으로 정의되며, 문자 수준 출력은 빈 토큰을 포함한 표준 알파벳을 사용한다.
• 총 손실는 단어 수준 및 문자 수준 CTC 손실의 가중 합으로 구성되어 공동 최적화를 가능하게 한다.
• 모델 학습은 검증 세트에서 인식된 단어의 누적 분포를 시간에 따라 추적하여 모니터링된다.
• 인도적 편향은 학습 초반에 인식된 단어의 빈도 및 길이 순위 분포를 비교하여 분석된다.
• 문자 수준 기반 보조 모델 평가에는 어휘 제약이 있는 비트 시퀀스 디코더가 사용되며, 단어 수준 성능 평가에는 통합 디코딩 전략이 테스트된다.

실험 결과

연구 질문

• RQ1 표현 빈도가 낮은 작은 데이터셋에서도 단어 수준의 ASR 모델을 처음부터 성공적으로 학습시킬 수 있는가, 라벨의 희소성에도 불구하고?
• RQ2 단어 수준 및 문자 수준의 지도 학습을 통한 다중 작업 학습이 모델이 특정 유형의 단어를 인식하는 데에 어떤 영향을 미치는가?
• RQ3 MTL 모델이 단어 수준 및 문자 수준 모델의 인도적 편향 사이에서 어느 정도 보간되는가?
• RQ4 단어 수준 및 문자 수준의 지도 학습을 조합하면 단일 지도 학습 기반 접근 방식보다 더 나은 일반화 성능을 달성하는가?

주요 결과

• MTL 모델은 23%의 단어 오류율(WER)을 달성하였으며, 이는 문자 수준 기반 보조 모델보다 5个百分点 낮고, 단어 수준 전용 모델보다도 뛰어나다.
• 이전 연구와는 달리, 본 연구는 작은 데이터셋에서도 단어 수준의 ASR 모델을 처음부터 학습시키는 것이 가능함을 입증하였으며, 문자 수준 기반 보조 모델과 유사한 성능을 달성하였다.
• 단어 수준 모델은 단어 빈도가 높은 단어부터 먼저 학습하여 높은 빈도 단어에 대한 강한 편향을 보였다.
• 문자 수준 모델은 짧은 단어를 더 쉽게 학습하며, 초기 단계부터 전체 길이 범위의 단어를 균일하게 커버하였다.
• MTL 모델은 두 가지 편향을 조합하여 빈도 및 길이 순위에 걸쳐 더 균일한 분포를 보였으며, 특히 희귀어 및 긴 단어에 유리하였다.
• MTL 모델은 모든 인식된 단어가 어휘에 포함되어 있음을 보장함으로써 알 수 없는 토큰 예측을 완전히 제거하여 텍스트의 가독성을 향상시켰다.