[논문 리뷰] LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition

Benjamin Beilharz, Xin Sun외 2명|arXiv (Cornell University)|2019. 10. 17.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 공공도메인 독립된 독서 오디오북에서 유래한 110시간 분량의 독일어 음성, 독일어 텍스트 및 영어 번역을 포함하는 대규모 병렬 코퍼스인 LibriVoxDeEn을 소개한다. 이는 종단간 독일어-영어 음성 번역을 가능하게 한다. 또한 독일어 음성 547시간 분량을 텍스트와 정렬한 자료도 제공한다. 수작업 평가를 통해 고품질의 음성-텍스트 및 텍스트-텍스트 정렬을 확인하였으며, 자동 점수 기반 임계치를 통해 정렬 신뢰도를 조정할 수 있다.

ABSTRACT

We present a corpus of sentence-aligned triples of German audio, German text, and English translation, based on German audiobooks. The speech translation data consist of 110 hours of audio material aligned to over 50k parallel sentences. An even larger dataset comprising 547 hours of German speech aligned to German text is available for speech recognition. The audio data is read speech and thus low in disfluencies. The quality of audio and sentence alignments has been checked by a manual evaluation, showing that speech alignment quality is in general very high. The sentence alignment quality is comparable to well-used parallel translation data and can be adjusted by cutoffs on the automatic alignment score. To our knowledge, this corpus is to date the largest resource for German speech recognition and for end-to-end German-to-English speech translation.

연구 동기 및 목표

• 독일어-영어 음성 번역 및 독일어 음성 인식을 위한 대규모 고품질 병렬 코퍼스의 부족 문제를 해결한다.
• 파ipel라인 시스템에서 발생하는 오류 전파를 방지하기 위해 종단간 신경망 기반 음성 번역을 지원하는 자원을 제공한다.
• 공공도메인 오디오북에서 읽는 방식의 음성을 사용함으로써 불순물이 최소화된 자료를 구축한다.
• 자동화된 도구와 수작업 평가를 통해 정렬 품질을 확보하고, 정렬 신뢰도 점수를 기반으로 신뢰성 있는 필터링을 가능하게 한다.
• 지금까지 공개된 바 중 가장 큰 자원을 독일어 음성 인식 및 독일어-영어 음성 번역을 위한 자원으로 제공한다.

제안 방법

• BeautifulSoup4와 Scrapy를 사용한 웹 크롤링을 통해 LibriVox, Project Gutenberg, archive.org에서 독일어 오디오북 및 관련 공공도메인 텍스트를 수집한다.
• spaCy를 사용한 문장 분할, 잡음 제거, 접두사/접미사 필터링 등의 전처리 과정을 통해 오디오 및 텍스트 데이터를 정제한다.
• aeneas 강제 정렬기와 SoX를 사용해 타임스탬프 기반으로 오디오를 분할하고, 오디오-텍스트 정렬을 수행한다.
• hunalign를 사용해 사전 기반 매칭 및 문장 길이 히우리스틱을 적용해 독일어-영어 문장 수준의 정렬을 생성한다.
• hunalign 신뢰도 점수를 기반으로 문장 쌍을 필터링하여 정렬 품질을 향상시키고, 임계치 기반의 코퍼스 정제를 가능하게 한다.
• Krippendorff’s alpha를 사용해 수작업 평가를 수행하여 평가자 간 일치도 및 정렬 품질을 평가한다.

실험 결과

연구 질문

• RQ1 공공도메인 오디오북에서 독일어 음성, 독일어 텍스트 및 영어 번역을 포함하는 대규모 고품질 병렬 코퍼스를 구축할 수 있는가?
• RQ2 자동 정렬 도구(aeneas, hunalign)는 음성 번역 및 인식을 위한 신뢰할 수 있는 오디오-텍스트 및 텍스트-텍스트 정렬을 얼마나 효과적으로 생성하는가?
• RQ3 정렬 신뢰도 점수(예: hunalign 점수)를 사용해 병렬 문장 쌍의 품질을 얼마나 효과적으로 필터링하고 향상시킬 수 있는가?
• RQ4 이 코퍼스의 정렬 품질은 음성 번역 및 음성 인식 분야의 기존 기준과 비교해 어느 정도인가?
• RQ5 이 코퍼스는 종단간 음성 번역 및 ASR 모델 학습을 위한 더 작은 또는 노이즈가 많은 데이터셋에 비해 실용적인 대안이 될 수 있는가?

주요 결과

• 이 코퍼스는 110시간 분량의 독일어 음성과 50,000개 이상의 병렬 문장 쌍(독일어 텍스트 및 영어 번역)을 포함하며, 종단간 독일어-영어 음성 번역 분야에서 가장 큰 자원이다.
• 추가로 547시간 분량의 독일어 음성이 독일어 텍스트와 정렬되어 있으며, 독일어 음성 인식 분야에서 가장 큰 자원이다.
• 수작업 평가 결과, 오디오-텍스트 정렬에 대해 거의 완벽한 평가자 간 일치도(Krippendorff’s α = 1.00)를 보였고, 텍스트-텍스트 정렬에 대해서도 상당한 일치도(α = 0.77)를 보였다.
• 텍스트-텍스트 정렬 품질은 hunalign 신뢰도 점수와 강하게 상관관계가 있었으며, 임계치 기반의 효과적인 필터링이 가능했다.
• 오디오-텍스트 정렬 품질은 전반적으로 매우 높았으며, 오디오북에서 읽는 방식의 음성을 사용함으로써 불순물이 극히 적었다.
• 이 코퍼스는 잘 알려진 병렬 코퍼스 수준의 정렬 품질을 확보하여, 강력한 종단간 모델 학습에 활용 가능함을 입증했다.