[논문 리뷰] Europarl-ST: A Multilingual Corpus For Speech Translation Of Parliamentary Debates

Javier Iranzo-Sánchez, Joan Albert Silvestre-Cerdà외 6명|arXiv (Cornell University)|2019. 11. 08.

Natural Language Processing Techniques참고 문헌 24인용 수 19

한 줄 요약

이 논문은 2008–2012년 유럽의회 회의 기록에서 유래한 공개된 다국어 음성 번역 코퍼스인 Europarl-ST를 소개한다. 이 코퍼스는 6개 유럽어어(독일어, 영어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어)를 대상으로 총 30개 번역 방향을 지원한다. 말발라짐 분석 및 CER 기반 음성 인식 품질 제어를 포함한 이중 단계 필터링 파이프라인과 강제 음향 정렬을 통해, 고품질의 캐스케이드 ASR+MT 실험을 가능하게 하며, 도메인 특화 MT 모델을 미세조정할 경우 최대 +4.0 BLEU 향상 효과를 기록한다.

ABSTRACT

Current research into spoken language translation (SLT),or speech-to-text translation, is often hampered by the lack of specific data resources for this task, as currently available SLT datasets are restricted to a limited set of language pairs. In this paper we present Europarl-ST, a novel multilingual SLT corpus containing paired audio-text samples for SLT from and into 6 European languages, for a total of 30 different translation directions. This corpus has been compiled using the debates held in the European Parliament in the period between 2008 and 2012. This paper describes the corpus creation process and presents a series of automatic speech recognition, machine translation and spoken language translation experiments that highlight the potential of this new resource. The corpus is released under a Creative Commons license and is freely accessible and downloadable.

연구 동기 및 목표

• 비영어어 소스 언어를 포함한 공개된 다국어 음성 번역(SLT) 데이터셋의 부족 문제를 해결한다.
• 기존 SLT 코퍼스의 한계를 극복한다. 기존 코퍼스는 일반적으로 영어 음성과 다른 언어로의 번역에 국한되어 있다.
• 재현 가능하고 독립적이며 공개 가능한 자원을 제공함으로써, 다국어 SLT 및 도메인 적응형 ASR 및 MT 연구를 지원한다.
• 실제 의회 회의 기록에서 유도된 일관되고 고품질의 데이터셋을 사용하여 캐스케이드 및 엔드 투 엔드 SLT 시스템의 평가 및 적응을 가능하게 한다.
• 독일어, 프랑스어, 스페인어, 이탈리아어, 포르투갈어, 영어를 포함한 저자원 언어 쌍에 대한 연구를 촉진하기 위해 통합되고 정렬된 코퍼스를 제공한다.

제안 방법

• 메타데이터 접근을 위해 LinkedEP 데이터베이스를 활용하여 2008–2012년 유럽의회 전원 회의 기록에서 원시 오디오 및 공식 번역/번역본을 수집한다.
• LIUM SpkDiarization 툴킷을 사용해 말발라짐 분석을 수행하여 개별 화자 세그먼트를 분리하고 오디오 겹침을 줄인다.
• TLK 툴킷과 FF-DNN 음향 모델을 사용해 강제 음향 정렬을 수행하여 번역문에서 단어 수준의 타임스탬프를 생성한다.
• 문자 오류율(CER) 기반으로 오디오 세그먼트를 필터링하며, 언어별 임계값(독일어, 프랑스어, 스페인어: 15%; 영어: 20%)을 적용하여 품질이 낮거나 정렬이 어긋난 오디오를 제거한다.
• 40K BPE 서브워드 연산을 사용해 데이터를 사전 처리하고, 도메인 외 및 Europarl-ST에 대해 미세조정한 데이터를 기반으로 Transformer 기반 NMT 모델을 훈련시킨다.
• 침묵 기반 세그먼테이션과 테스트 세트에서의 BLEU 스코어링을 통해 캐스케이드 SLT 시스템을 평가하며, 미세조정된 MT 모델과 ASR 출력을 조합한다.

실험 결과

연구 질문

• RQ1 공개된 의회 오디오 및 텍스트 데이터에서 고정렬 품질을 확보한 대규모 다국어 SLT 코퍼스를 구축할 수 있는가?
• RQ2 Europarl-ST 데이터에 대해 도메인 특화된 MT 모델을 미세조정하면 도메인 외 모델 대비 성능 향상 정도는 어느 정도인가?
• RQ3 CER 기반 필터링 및 강제 정렬이 SLT 훈련 데이터의 품질과 활용 가능성에 어떤 영향을 미치는가?
• RQ4 동일한 ASR 및 MT 구성 요소를 동일한 데이터에 적용했을 때, MT와 캐스케이드 SLT 시스템 간의 성능 격차는 어느 정도인가?
• RQ5 제안된 필터링 파이프라인이 자원이 제한된 다른 언어 및 음성 번역 작업에 일반화될 수 있는가?

주요 결과

• 필터링 후 최종 Europarl-ST 코퍼스는 독일어 44시간, 영어 120시간, 스페인어 34시간, 프랑스어 47시간의 오디오를 포함하며, CER 값은 9.1%에서 12.9% 사이이다.
• Europarl-ST 데이터에 대해 MT 모델을 미세조정함으로써 도메인 외 모델 대비 BLEU 점수가 최대 +4.0 향상되었으며, 특히 저자원 방향인 독일어→스페인어(2.5 BLEU 향상)에서 가장 큰 성과를 기록했다.
• 캐스케이드 SLT 시스템은 BLEU 점수 15.3에서 28.0 사이를 기록했으며, 가장 높은 성능은 영어→스페인어(28.0 BLEU)에서 나타났다. 이는 MT와 SLT 성능 순위 간의 강한 상관관계를 반영한다.
• 필터링 파이프라인은 초기 오디오 데이터의 최대 70%를 감소시켰지만, 훈련 및 평가에 적합한 고품질의 정렬된 오디오-텍스트 쌍을 유지했다.
• 코퍼스는 6개 언어(독일어, 영어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어) 간 총 30개 번역 방향을 지원하며, 완전한 정렬과 메타데이터를 포함하여, 유사한 종류의 첫 공개 다국어 SLT 자원이다.
• 결과는 Europarl-ST에서 훈련된 도메인 적응형 MT 모델가 일반 도메인 모델보다 유의미하게 뛰어난 성능을 보임을 확인하며, SLT 분야에서 도메인 내 미세조정의 가치를 입증한다.