[논문 리뷰] Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation

Marco Gaido, Matteo Negri외 2명|arXiv (Cornell University)|2021. 04. 23.

Natural Language Processing Techniques참고 문헌 29인용 수 16

한 줄 요약

이 논문은 직접 번역을 위한 하이브리드 오디오 분할 방법을 제안하며, VAD 기반 접근법 대비 수동 분할과의 격차를 최소 30% 감소시켜 번역 품질을 향상시킨다. 이 방법은 언어적 단서와 오디오 특징을 조합하여 문법적으로 정보를 갖춘 세그먼트를 생성하며, 지연 시간을 증가시키지 않으면서도 VAD, 고정 길이, 기존 하이브리드 기법들을 능가한다. 특히 자원이 적거나 문법적 구조가 다를 수 있는 언어 쌍에서 뛰어난 성능을 보인다.

ABSTRACT

The audio segmentation mismatch between training data and those seen at run-time is a major problem in direct speech translation. Indeed, while systems are usually trained on manually segmented corpora, in real use cases they are often presented with continuous audio requiring automatic (and sub-optimal) segmentation. After comparing existing techniques (VAD-based, fixed-length and hybrid segmentation methods), in this paper we propose enhanced hybrid solutions to produce better results without sacrificing latency. Through experiments on different domains and language pairs, we show that our methods outperform all the other techniques, reducing by at least 30% the gap between the traditional VAD-based approach and optimal manual segmentation.

연구 동기 및 목표

• 학습 시 수동으로 분할된 데이터와 추론 시 자동으로 분할된 데이터 간의 오디오 분할 불일치로 인한 직접 음성 번역의 성능 저하 문제를 해결하기 위해.
• 엔드 투 엔드 직접 ST 환경에서의 맥락에서 기존 분할 기법(VAD 기반, 고정 길이, 하이브리드 방법)의 한계를 조사하기 위해.
• 지연 시간을 희생시키지 않으면서도 언어적 구조와 오디오 특징을 활용해 더 정확하고 문법적으로 인지된 세그먼트를 생성하는 하이브리드 분할 접근법을 설계하기 위해.
• 다양한 도메인(TED, 유럽의회)과 언어 쌍(en-de, en-it)을 대상으로 성능을 평가하여 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• VAD 기반 음성 활동 탐지와 자동 음성 인식(ASR) 텍스트에서 유도된 문법적 분할 단서를 조합한 하이브리드 분할 프레임워크를 제안한다.
• ASR가 생성한 구두점과 프로소디적 특징을 활용해 절 경계에서 강제로 분할하여 더 짧고 언어적으로 의미 있는 세그먼트를 생성한다.
• 언어적 통일성과 오디오 지속 시간을 바탕으로 동적 임계값 기반 메커니즘을 도입하여 세그먼트를 병합하거나 분할함으로써 너무 짧거나 너무 긴 세그먼트를 방지한다.
• 실시간 오디오 처리를 통해 스트리밍에 적합한 방식으로 설계되어 전체 오디오 입력이 완료되기 전에도 저지연 추론이 가능하도록 한다.
• VAD, ASR, 언어적 구조를 조합하여 분할을 이끌어내며, 추론 후 외부 ASR 모델에 의존하지 않도록 한다.
• 이중 단계 분할 전략을 적용한다: 먼저 VAD가 음성 영역을 식별하고, 이후 언어적 구조가 경계를 정밀하게 조정하여 문법 단위에 맞추어진다.

실험 결과

연구 질문

• RQ1 직접 음성 번역에서 VAD 기반 분할은 수동 분할 대비 번역 품질 측면에서 어떻게 비교되는가?
• RQ2 고정 길이 및 VAD 기반 분할 기법이 직접 ST에 적용되었을 때, 특히 세그먼트 길이와 언어적 통일성 측면에서 어떤 한계를 지닌다?
• RQ3 언어적 구조를 통합한 하이브리드 분할 방법은 VAD 및 고정 길이 기반 기준선 대비 번역 성능 향상에 기여하는가?
• RQ4 원천 언어와 목표 언어 간의 문법적 유사성은 최적의 분할 전략에 어떤 영향을 미치는가?
• RQ5 지연 시간을 고려한 하이브리드 분할 방법을 설계하여 스트리밍 직접 ST 응용에 적합하게 만들 수 있는가?

주요 결과

• 제안된 하이브리드 방법은 독일어 번역에 대해 VAD 기반 분할과 수동 분할 간 성능 격차를 54.71% 감소시키고, 이탈리아어 번역에 대해서는 30.95% 감소시켰다.
• MuST-C 및 Europarl-ST 데이터셋 전반에서 VAD, 고정 길이, SRPOL 유사 기법을 포함한 모든 기준선 기법보다 뛰어난 성능을 보였다.
• 강제 분할(절 수준의 분할)은 출력 길이가 더 길어지더라도 환각 현상을 줄이고 문법적 일치를 향상시켜 독일어 번역 성능을 향상시켰다.
• 전체 오디오 입력이 필요 없이도 분할을 수행할 수 있어 저지연을 유지하며 스트리밍에 적합하다.
• 구조적으로 다를 수 있는 언어 쌍(SVO에서 SOV로의 변환)에서 성능 격차 감소 효과가 가장 두드러졌다.
• 이 방법의 효과성은 목표 언어의 문법에 민감하다: 영어와 유사한 이탈리아어에서는 더 잘 작동하지만, 장거리 어순 재배열이 더 복잡한 독일어에서는 오류에 더 민감하게 반응한다.