[논문 리뷰] Attentional Speech Recognition Models Misbehave on Out-of-domain Utterances

Phillip Keung, Wei Niu외 3명|arXiv (Cornell University)|2020. 02. 12.

Speech Recognition and Synthesis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 자동회귀적 순서-순서(AR-S2S) 음성인식 모델, 특히 트랜스포머와 자기주의성 CTC 모델이 도메인 외 음성에 대해 강력한 성능을 보임에도 불구하고, 과도하게 길고 반복적인('에코그래픽') 번역을 생성한다는 점을 규명한다. 저자들은 주 ASR 모델을 수정하지 않고도 이 문제를 효과적으로 완화하기 위해, 양방향 LSTM을 사용하여 예상 단어피스 수를 추정하는 별도의 길이 예측 모델을 제안한다. 이 모델은 도메인 내 WER을 증가시키지 않으면서도 열악한 도메인에서의 열악한 출력을 잘라내는 데 성공한다.

ABSTRACT

We discuss the problem of echographic transcription in autoregressive sequence-to-sequence attentional architectures for automatic speech recognition, where a model produces very long sequences of repetitive outputs when presented with out-of-domain utterances. We decode audio from the British National Corpus with an attentional encoder-decoder model trained solely on the LibriSpeech corpus. We observe that there are many 5-second recordings that produce more than 500 characters of decoding output (i.e. more than 100 characters per second). A frame-synchronous hybrid (DNN-HMM) model trained on the same data does not produce these unusually long transcripts. These decoding issues are reproducible in a speech transformer model from ESPnet, and to a lesser extent in a self-attention CTC model, suggesting that these issues are intrinsic to the use of the attention mechanism. We create a separate length prediction model to predict the correct number of wordpieces in the output, which allows us to identify and truncate problematic decoding results without increasing word error rates on the LibriSpeech task.

연구 동기 및 목표

• AR-S2S 엔드 투 엔드 ASR 모델이 도메인 내 성능은 뛰어나지만 도메인 외 음성에 대해 왜 비정상적으로 길고 반복적인 번역을 생성하는지 조사하기.
• 이러한 행동이 순서-순서 모델의 어텐션 메커니즘에 내재된 것인지, 또는 비트 폭, 길이 정규화와 같은 디코딩 초모수에 의해 영향을 받는지 확인하기.
• 도메인 내 벤치마크 성능을 떨어뜨리지 않으면서도 이러한 열악한 출력을 탐지하고 완화하는 방법 개발하기.
• AR-S2S 모델과 이 문제를 보이지 않는 프레임 동기화 DNN-HMM 모델 간의 행동 비교하기.

제안 방법

• AR-S2S 모델의 인코더 특징을 사용하여 주어진 음성 입력에 대해 참조 전사본의 단어피스 수를 예측하는 양방향 LSTM 모델을 훈련한다.
• 예측된 출력 길이를 추정하기 위해, 인코딩된 음성 프레임에 대해 ReLU 활성화를 적용한 애페인 변환을 갖는 포isson 회귀 헤드를 사용한다.
• 디코딩 출력은 예측 길이의 배수(예: 1.3×)에서 잘라내며, 이 배수는 도메인 외 오류를 최소화하면서 도메인 내 WER을 유지하도록 튜닝된다.
• 모델은 LibriSpeech dev-clean 데이터에서 파인튜닝되며, 예측된 길이가 추론 중 동적 잘라내기 임계값으로 사용된다.
• 정확한 도메인 외 행동 평가를 위해, AR-S2S 디코딩에서 낮은 WER를 보인 1,607개의 BNC 발화어의 청소된 서브셋에서 평가가 수행된다.
• 이 방법은 ESPnet 트랜스포머와 자기주의성 CTC 모델을 포함한 여러 모델에서 검증되었으며, 문제가 어텐션 기반 디코딩에 내재되어 있음을 확인한다.

실험 결과

연구 질문

• RQ1 AR-S2S ASR 모델은 도메인 내 성능이 뛰어나지만 도메인 외 음성에 대해 왜 과도하게 길고 반복적인 번역을 생성하는가?
• RQ2 에코그래픽 행동은 어텐션 메커니즘에 기인한 것인지, 아니면 비트 폭이나 길이 정규화와 같은 디코딩 초모수에 의해 영향을 받는가?
• RQ3 별도의 길이 예측 모델이 도메인 내 벤치마크 성능을 떨어뜨리지 않고 열악한 출력을 탐지하고 잘라내는 데 성공할 수 있는가?
• RQ4 왜 프레임 동기화 DNN-HMM 모델은 이러한 행동을 보이지 않는가? 이는 아키텍처의 내재적 내성 차이를 시사하는가?
• RQ5 학습된 길이 예측자로 인해 다양한 어텐션 기반 ASR 아키텍처에서 이 문제를 어느 정도 완화할 수 있는가?

주요 결과

• AR-S2S 모델은 BNC 발화어 39,323건 중 170건에서 700자 이상의 전사본을 생성했으며, 일부 출력은 같은 문장을 100번 이상 반복했다. 반면 DNN-HMM 모델은 이러한 열악한 출력을 생성하지 않았다.
• 문제는 사전 훈련된 ESPnet 트랜스포머 모델에서 재현 가능하며, 자기주의성 CTC 모델에서도 덜하지만 동일하게 나타나, 이 문제가 어텐션 메커니즘에 내재되어 있음을 시사한다.
• 예측 길이의 1.3배에서 디코딩 출력을 잘라내는 것으로 170개의 에코그래픽 예제 중 160개를 제거했으며, LibriSpeech test-clean WER에 변화가 없었다.
• 길이 예측 모델은 LibriSpeech test-clean에서 평균 절대 오차 2.7개의 단어피스를 기록하여 정확한 동적 잘라내기 가능성을 확보했다.
• AR-S2S 모델의 어텐션 메커니즘이 시간이 지남에 따라 같은 음성 세그먼트에 반복적으로 주목하면서 앞으로 진행되지 않는 것을 관찰하여, 반복적 출력의 원인을 설명할 수 있었다.
• 길이 정규화 조정은 에코그래픽 행동을 감소시켰지만, WER를 크게 증가시켜 내성적 복원력 향상에 효과적인 대안이 되지 못했다.