[논문 리뷰] Speech-XLNet: Unsupervised Acoustic Model Pretraining For Self-Attention Networks

Xingchen Song, Guangsen Wang외 5명|arXiv (Cornell University)|2019. 10. 23.

Speech Recognition and Synthesis참고 문헌 27인용 수 11

한 줄 요약

이 논문은 자동 음성 인식에서 자기주의 주의 네트워크를 위한 순열 기반 비지도 사전 훈련 방법인 Speech-XLNet을 제안한다. 사전 훈련 중에 음성 프레임 순서를 동적으로 재배열함으로써 이중 방향적 문맥 학습과 더 나은 일반화를 가능하게 하여, TIMIT에서 15.2%의 상대적 PER 향상과 WSJ에서 최소한의 레이블 데이터로 최대 68%의 WER 감소를 달성한다.

ABSTRACT

Self-attention network (SAN) can benefit significantly from the bi-directional representation learning through unsupervised pretraining paradigms such as BERT and XLNet. In this paper, we present an XLNet-like pretraining scheme "Speech-XLNet" for unsupervised acoustic model pretraining to learn speech representations with SAN. The pretrained SAN is finetuned under the hybrid SAN/HMM framework. We conjecture that by shuffling the speech frame orders, the permutation in Speech-XLNet serves as a strong regularizer to encourage the SAN to make inferences by focusing on global structures through its attention weights. In addition, Speech-XLNet also allows the model to explore the bi-directional contexts for effective speech representation learning. Experiments on TIMIT and WSJ demonstrate that Speech-XLNet greatly improves the SAN/HMM performance in terms of both convergence speed and recognition accuracy compared to the one trained from randomly initialized weights. Our best systems achieve a relative improvement of 11.9% and 8.3% on the TIMIT and WSJ tasks respectively. In particular, the best system achieves a phone error rate (PER) of 13.3% on the TIMIT test set, which to our best knowledge, is the lowest PER obtained from a single system.

연구 동기 및 목표

• 자기회귀적 및 자동에코딩 사전 훈련의 한계, 즉 이중 방향적 문맥 부족과 사전 훈련-微조정 불일치 문제를 해결하기 위해.
• 순열 기반 훈련을 활용하여 자기주의 주의 네트워크(SANs)의 일반화 능력과 수렴 속도를 향상시키기 위해.
• 강력한 비지도 사전 훈련을 통해 종단 간 및 하이브리드 ASR 시스템에서 제한된 레이블 데이터를 효과적으로 활용할 수 있도록 하기 위해.

제안 방법

• Speech-XLNet은 각 훈련 시퀀스마다 새로운 무작위 순열을 생성하는 동적 순열 전략을 사용하여 고정된 순서에 의한 편향을 방지한다.
• 모델은 음성 특징 시퀀스의 가능한 모든 분해 순서에 대한 기대 로그우도를 최대화함으로써 좌우 문맥을 함께 모델링할 수 있도록 한다.
• 말 토큰 대신 음성 프레임을 마스킹하고 재구성하는 방식으로 XLNet의 자기회귀 훈련 파рад림을 음성에 적응시켜 회귀 과제로 전환한다.
• 인코더 아키텍처는 트랜스포머와 XLNet 설계를 따르며, 모든 순열 간에 공유 파라미터를 사용하여 종단 간 최적화를 가능하게 한다.
• 사전 훈련 중에 모델은 모든 위치의 문맥을 사용하여 마스킹된 프레임을 재구성하도록 학습하여 전반적인 구조 인식 능력을 향상시킨다.
• 고정된 마스킹 토큰에 의존하지 않기 때문에 BERT의 전처리-微조정 불일치 문제를 피하며, 다양한 문맥을 시뮬레이션하기 위해 동적 순열을 사용한다.

실험 결과

연구 질문

• RQ1 순열 기반 사전 훈련이 음성 인식에서 자기주의 주의 네트워크의 일반화 능력과 수렴 속도를 향상시키는가?
• RQ2 고정 순서의 자기회귀적 또는 양방향 자동에코딩 방식과 비교할 때, 동적 프레임 순열은 전역적이고 이중 방향적 문맥을 얼마나 잘 포착하는가?
• RQ3 BERT 스타일 마스킹에 비해 Speech-XLNet은 음성 표현 학습에서 전처리-微조정 불일치를 어느 정도 줄이는가?
• RQ4 특히 자원이 제한된 ASR 환경에서 레이블 데이터가 부족할 경우, 이 방법은 더 나은 일반화 능력을 보이는가?
• RQ5 Speech-XLNet으로 사전 훈련한 모델의 손실 곡면은 초기화된 모델과 비교해 평탄하고 넓은 최적점 특성을 보이는가?

주요 결과

• Speech-XLNet은 TIMIT 테스트 세트에서 15.2%의 상대적 PER 향상을 달성하여 PER를 15.1%에서 12.8%로 감소시켰다.
• WSJ 데이터셋에서 레이블 데이터 7시간으로 미세조정한 결과, WER이 최대 68.3% 감소하여, 초기화된 모델보다 뛰어난 성능을 보였다.
• 81시간의 레이블 데이터를 사용할 경우, 최상의 시스템이 베이스라인 대비 6.1%의 상대적 WER 감소를 달성하여 낮은 데이터 효율성의 강점을 입증했다.
• 손실 곡면 시각화 결과, Speech-XLNet으로 사전 훈련한 모델는 더 평탄하고 넓은 최적점을 가지며, 더 나은 일반화 능력을 가짐을 나타냈다.
• 순열 기반 방법은 더 적은 사전 훈련 데이터로도 비순열 기반(자기회귀적) 및 BERT 유사 기반 베이스라인을 모두 능가했으며, 그 효과성을 입증했다.
• LIBRI-Perm(960시간의 Librispeech 데이터 사용)는 더 많은 데이터(879시간)를 사용한 WSJ-NoPerm보다 우수한 성능을 보였으며, 동적 순열이 표준 자기회귀 사전 훈련보다 우월함을 확인했다.