[논문 리뷰] Swiss Parliaments Corpus, an Automatically Aligned Swiss German Speech to Standard German Text Corpus

Michel Plüss, Lukas Neukom외 2명|arXiv (Cornell University)|2020. 10. 06.

Natural Language Processing Techniques참고 문헌 20인용 수 8

한 줄 요약

이 논문은 스위스 독일어 음성과 표준 독일어 원문이 짝지어진 293시간 분량의 자동으로 정렬된 음성-텍스트 코퍼스인 스위스 의회 코퍼스(SPC)를 소개한다. 새로운 강제 문장 정렬 방법과 IoU 기반 품질 평가 기준을 사용하여, 이질적인 언어 간의 문장 순서 변경 등의 문제를 해결하였고, 이는 컨포머 ASR 모델을 코퍼스에 맞게 미세조정한 결과, WER 0.278과 BLEU 점수 0.586를 달성하여 저자원 스위스 독일어 방언에 대한 고성능 엔드 투 엔드 ASR를 가능하게 하였다.

ABSTRACT

We present the Swiss Parliaments Corpus (SPC), an automatically aligned Swiss German speech to Standard German text corpus. This first version of the corpus is based on publicly available data of the Bernese cantonal parliament and consists of 293 hours of data. It was created using a novel forced sentence alignment procedure and an alignment quality estimator, which can be used to trade off corpus size and quality. We trained Automatic Speech Recognition (ASR) models as baselines on different subsets of the data and achieved a Word Error Rate (WER) of 0.278 and a BLEU score of 0.586 on the SPC test set. The corpus is freely available for download.

연구 동기 및 목표

• 저자원 스위스 독일어 자동 음성 인식(ASR)을 위한 대규모 고품질 학습 데이터의 부족 문제를 해결하기 위해, 공개 가능한 자동 정렬 코퍼스를 구축한다.
• 스위스 독일어와 표준 독일어 간의 문장 재정렬과 같은 언어 불일치 문제를 처리할 수 있는 강제 문장 정렬 절차를 개발한다.
• 엔드 투 엔드 ASR 모델이 스위스 독일어 음성에서 학습하여 정확한 표준 독일어 텍스트 원문을 생성할 수 있도록 한다.
• 미래의 저자원 스위스 독일어 방언에 대한 음성-텍스트 번역 연구를 위한 기준을 제공한다.
• IoU 기반 추정기를 통한 데이터 필터링이 모델 성능과 코퍼스 품질에 미치는 영향을 탐색한다.

제안 방법

• 코퍼스는 총 293시간의 음성 자료를 포함한 베른 주의회 공개 녹음 및 원문 자료에서 구성된다.
• 새로운 강제 문장 정렬 파이프라인은 사전 학습된 표준 독일어 ASR 모델을 사용해 음성 자료를 단어 수준의 타임스탬프와 함께 번역한다.
• 네이들맨-윈셔 알고리즘을 통한 글로벌 정렬을 통해 ASR 원문을 수동으로 작성된 표준 독일어 원문과 문장 수준에서 매핑한다.
• 학습된 IoU(교차율) 추정기는 저품질 정렬을 필터링하여 코퍼스 크기와 품질 사이의 트레이드오프를 가능하게 한다.
• 정렬 과정에는 spaCy를 사용한 문장 분할과 ASR 출력에서 유도된 단어 수준 타임스탬프를 통한 시간 매핑이 포함된다.
• 필터링된 코퍼스 서브셋에 대해 데이터 증강과 공동 CTC/CE 손실을 사용한 기준 ASR 모델(Transformer 및 Conformer)을 학습한다.

실험 결과

연구 질문

• RQ1 강제 문장 정렬 절차가 스위스 독일어와 표준 독일어 간의 어순 변경과 같은 언어 불일치 문제를 효과적으로 처리할 수 있는가?
• RQ2 IoU 기반 필터링 메커니즘이 자동 정렬 음성-텍스트 코퍼스의 품질-크기 트레이드오프에 어떻게 기여하는가?
• RQ3 저자원 스위스 독일어 음성-표준 독일어 코퍼스에 훈련된 엔드 투 엔드 ASR 모델이 달성할 수 있는 성능은 어떠한가?
• RQ4 이 음성-텍스트 번역 설정에서 WER와 BLEU 점수 간의 상관관계는 어느 정도인가?
• RQ5 학습된 ASR 모델을 활용해 자기 향상 파이프라인에서 정렬 과정을 반복적으로 개선할 수 있는가?

주요 결과

• 최고 성능을 보인 컨포머 ASR 모델은 SPC 테스트 세트에서 워드 오류률(WER) 0.278과 BLEU 점수 0.586를 달성하였다.
• 모든 데이터 분할에서 컨포머 모델이 트랜스포머 모델을 앞서는 성능을 보였으며, 이는 이 저자원 환경에 적합함을 시사한다.
• IoU 추정기를 통한 데이터 필터링 덕분에 70%의 데이터로 학습하면서 성능 손실가 최소화되었고, 정확도를 유지하면서도 빠른 학습이 가능했다.
• WER와 BLEU 점수 간의 음성 상관관계가 관찰되어, 이 두 지표가 이 음성-텍스트 작업 평가에 신뢰성 있고 상호보완적임을 시사한다.
• 코퍼스는 무료로 다운로드 가능하며, 향후 스위스 독일어 ASR 및 음성 번역 분야의 연구 기초 자료로 기여할 것이다.