[논문 리뷰] Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead

Piyush Behre, Naveen Parihar외 8명|arXiv (Cornell University)|2022. 10. 26.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 음성 특징과 언어 모델 예측을 한 단어의 향후 문맥(look-ahead)을 활용해 조합하는 하이브리드 음성 분할 방법을 제안한다. 이로 인해 분할 정확도가 향상되며, 특히 사전 기록 작업에서의 과다 분할 문제를 줄일 수 있다. Prosodic 및 언어적 맥락을 모두 활용함으로써, 평균적으로 분할 F0.5에서 9.8% 향상되고, 여섯 개 언어에서 기계 번역 BLEU 점수도 0.4~1.4 포인트 상승한다.

ABSTRACT

Segmentation for continuous Automatic Speech Recognition (ASR) has traditionally used silence timeouts or voice activity detectors (VADs), which are both limited to acoustic features. This segmentation is often overly aggressive, given that people naturally pause to think as they speak. Consequently, segmentation happens mid-sentence, hindering both punctuation and downstream tasks like machine translation for which high-quality segmentation is critical. Model-based segmentation methods that leverage acoustic features are powerful, but without an understanding of the language itself, these approaches are limited. We present a hybrid approach that leverages both acoustic and language information to improve segmentation. Furthermore, we show that including one word as a look-ahead boosts segmentation quality. On average, our models improve segmentation-F0.5 score by 9.8% over baseline. We show that this approach works for multiple languages. For the downstream task of machine translation, it improves the translation BLEU score by an average of 1.05 points.

연구 동기 및 목표

• 침묵 기반 또는 VAD 전용 방법이 자연스러운 정류를 문장 경계로 오해하는 데 기인한 연속적 ASR에서의 과다 분할 문제를 해결하기 위해.
• 언어 모델(LM-EOS)을 통한 언어 맥락 통합을 의사결정 과정에 반영해 분할 품질을 향상시키기 위해.
• 우측 맥락(look-ahead)을 통합할 경우 분할 성능, 특히 구두점 및 후속 작업에 미치는 영향을 조사하기 위해.
• 다양한 음성 유형(사전 기록, 회의, 팟캐스트)과 다중 언어에서 이 방법의 효과를 평가하기 위해.
• 향상된 분할이 기계 번역과 같은 후속 작업을 향상시키며 BLEU 점수 상승을 이끌어내는지 입증하기 위해.

제안 방법

• 이 방법은 음성 전용 VAD-EOS 모델과 언어 모델 기반 LM-EOS 모델을 조합한 하이브리드 아키텍처를 사용하여 문단 종료 예측을 수행한다.
• LM-EOS 모델은 정규화된 구어 형태를 사용해 Open Web Text 코퍼스에서 훈련되며, 문장 종결 구두점(., ?)을 필터링한다.
• v3 모델에선 향후 맥락을 한 단어만 참조할 수 있도록 look-ahead 메커니즘이 도입되어 의사결정의 신뢰도를 향상시킨다.
• 분할 결정은 VAD-EOS와 LM-EOS 모델의 출력을 조합하여 내리며, 과다 분할을 방지하기 위해 정밀도에 중점을 둔다.
• 각 분할된 세그먼트는 고정된 트랜스포머 기반 구두점 예측 모델을 거쳐 구두점 예측을 수행한다.
• 모델은 언어별로 별도로 훈련되어 언어별 적응이 가능하면서도 모듈성과 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 순수 음성 기반 방법에 비해 언어적 특징을 분할에 통합할 경우 과다 분할이 줄어들 수 있는가?
• RQ2 언어 모델을 사용할 때 한 단어의 향후 맥락(look-ahead)을 포함시키면 분할 결정이 어떻게 향상되는가?
• RQ3 향후 맥락을 포함한 하이브리드 음성-언어 기반 접근법이 다양한 음성 유형과 언어에서 일반화되는가?
• RQ4 향상된 분할이 기계 번역 성능 향상에 어느 정도 기여하는가?
• RQ5 이 방법은 음성 입력 기반 타이핑 및 회의 녹음과 같은 장기형 ASR 작업에 효과적으로 적용될 수 있는가?

주요 결과

• look-ahead 기능이 있는 v3 모델은 기준 모델 대비 평균 9.8%의 분할 F0.5 향상을 기록했으며, 사전 기록 작업에서 최대 15.9% 향상을 기록했다.
• look-ahead 기능이 없는 v2 모델도 모든 데이터셋에서 기준 모델을 초월해 언어적 특징이 분할에 기여하는 바를 확인했다.
• v3 모델은 NPR-76 데이터셋에서 정밀도와 재현율이 균형을 이루어 최적의 분할 성능를 나타냈다.
• 기계 번역 작업에서는 v3 모델이 여섯 개 언어에서 BLEU 점수를 0.4~1.4 포인트 향상시켰으며, 이탈리아어(1.3)와 영어(1.4)에서 가장 큰 향상을 기록했다.
• 이 방법은 사전 기록, 수익 보고 회의, 의회 회의 등 다양한 도메인에서 일관된 효과를 보였다.
• 사용자 연구 결과 정밀도가 재현율보다 더 중요함을 확인했으며, 이는 F0.5를 주요 평가 지표로 삼는 것이 타당함을 뒷받침한다.