[논문 리뷰] Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection

Danni Liu, Gerasimos Spanakis외 1명|arXiv (Cornell University)|2020. 05. 22.

Natural Language Processing Techniques참고 문헌 43인용 수 9

한 줄 요약

이 논문은 부분 가설 선택, 단방향 인코더, 부분 시퀀스에 대한 적응을 사용하여 저지연 시퀀스-투-시퀀스 음성 인식 및 번역 프레임워크를 제안한다. How2 ASR 데이터셋에서 83%의 지연 감소(0.8초)를 달성하면서 WER가 1% 증가했고, 음성 번역에서는 84%의 지연 감소(0.7초)를 이룩했으며 상대적 BLEU 손실은 5%에 그쳤다. 이는 선택적 출력 확정과 효율적인 추론을 통해 높은 정확도를 유지한 결과이다.

ABSTRACT

Encoder-decoder models provide a generic architecture for sequence-to-sequence tasks such as speech recognition and translation. While offline systems are often evaluated on quality metrics like word error rates (WER) and BLEU, latency is also a crucial factor in many practical use-cases. We propose three latency reduction techniques for chunk-based incremental inference and evaluate their efficiency in terms of accuracy-latency trade-off. On the 300-hour How2 dataset, we reduce latency by 83% to 0.8 second by sacrificing 1% WER (6% rel.) compared to offline transcription. Although our experiments use the Transformer, the hypothesis selection strategies are applicable to other encoder-decoder models. To avoid expensive re-computation, we use a unidirectionally-attending encoder. After an adaptation procedure to partial sequences, the unidirectional model performs on-par with the original model. We further show that our approach is also applicable to low-latency speech translation. On How2 English-Portuguese speech translation, we reduce latency to 0.7 second (-84% rel.) while incurring a loss of 2.4 BLEU points (5% rel.) compared to the offline system.

연구 동기 및 목표

• 온라인 시퀀스-투-시퀀스 모델에서의 높은 지연 문제를 해결한다.
• 재학습 없이도 오프라인 및 온라인 추론을 모두 지원할 수 있는 단일 모델을 가능하게 한다.
• 청크 기반의 점진적 추론에서 지연을 줄이면서도 자동 음성 인식 및 번역 품질의 열화를 최소화한다.
• 스트리밍 추론 중 예측을 안정화하기 위해 부분 가설을 선택적으로 확정하는 전략을 탐색한다.
• 사전 훈련된 전체 시퀀스 모델을 점진적 추론에 적응시키는 방법을 개발한다. 성능 저하를 최소화한다.

제안 방법

• 미래의 컨텍스트를 포함하지 않는 단방향 인코더를 사용하여, 미래 의존성이 없는 효율적인 점진적 디코딩을 가능하게 한다.
• 각 청크의 출력에서 부분 시퀀스만 확정하는 부분 가설 선택을 적용하여 불안정한 예측을 줄인다.
• hold-n(고정 출력 레이트) 및 국소적 합의(공동체 기반 선택) 전략을 통해 프리픽스 기능을 구현한다.
• 스트리밍 입력을 시뮬레이션하는 프로시저를 통해 사전 훈련된 모델을 부분 시퀀스에 적응시킨다.
• 이전 청크의 확정된 가설에 조건을 붙여 디코더를 구성함으로써, 맥락 인식 기반의 점진적 생성을 가능하게 한다.
• 고정된 청크 크기와 함께 신호가 도착함에 따라 점진적으로 디코딩하며, 디코더 상태를 재사용하여 재계산을 방지한다.

실험 결과

연구 질문

• RQ1 부분 가설 선택은 스트리밍 ASR 및 음성 번역에서 지연-품질 트레이드오프를 어떻게 향상시킬 수 있는가?
• RQ2 전체 시퀀스로 훈련된 단방향 인코더는 부분 시퀀스에 대해 최소한의 정확도 손실로 효과적으로 적응할 수 있는가?
• RQ3 hold-n, 국소적 합의, hold-0 중 어떤 가설 선택 전략이 지연과 품질 사이의 최적 균형을 달성하는가?
• RQ4 부분 시퀀스에 대한 모델 적응은 저지연 환경에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 ASR 및 음성 번역과 같은 다양한 시퀀스-투-시퀀스 작업으로 일반화될 수 있는가?

주요 결과

• 국소적 합의 전략은 ASR에서 가장 우수한 지연-품질 트레이드오프를 달성하여, 오프라인 전사 대비 0.8초로 지연을 줄였고, 절대 WER 증가율은 1%뿐이었다(상대적 6%).
• 단방향 모델은 부분 시퀀스에 대한 적응 후 How2 ASR 데이터셋에서 14.4% WER를 달성했으며, 이는 이중 방향 모델과 동일한 성능를 보였다.
• 적응 후 단방향 모델는 오프라인 추론에서도 14.4% WER를 유지하여 전체 시퀀스 성능을 유지함을 입증했다.
• How2 영어-포르투갈어 음성 번역 작업에서, 이 방법은 지연을 84% 감소시켜 0.7초로 줄였고, 오프라인 시스템 대비 상대적 BLEU 손실은 5%에 그쳤다(44.5에서 42.1로).
• hold-4 및 국소적 합의 전략은 hold-0 및 hold-2를 능가했으며, 국소적 합의 전략은 유사한 품질을 유지하면서 hold-4보다 더 낮은 지연을 달성했다.
• 부분 시퀀스에 대한 적응은 ASR에서 오차율을 최대 1%까지 감소시켰고, 지연은 최대 0.3초 증가하는 데 그쳐 출력 제어가 향상됨을 시사한다.