[논문 리뷰] The MGB-2 Challenge: Arabic Multi-Dialect Broadcast Media Recognition

Ahmed Ali, Peter Bell외 5명|arXiv (Cornell University)|2016. 09. 19.

Speech Recognition and Synthesis참고 문헌 11인용 수 7

한 줄 요약

이 논문은 2005–2015년 동안 알자지라 티비 방송에서 촬영한 1,200시간의 아랍어 다국어 방송 음성 인식 평가를 위한 MGB-2 챌린지를 제시한다. 이 데이터는 경량으로 감시된 번역과 웹 아카이브에서 유래한 1,100만 개 이상의 단어를 포함한다. 챌린지는 음성-텍스트 변환과 단어 정렬을 중심으로 하였으며, 공식 테스트 세트에서 최고 시스템의 WER는 14.7%를 기록하였다. 최고의 성능을 낸 시스템은 딥 뉴럴 네트워크와 하이브리드 언어 모델을 활용하여 다국어 어조와 노이즈가 많은 음성에 대해 향상된 성능을 달성하였다.

ABSTRACT

This paper describes the Arabic Multi-Genre Broadcast (MGB-2) Challenge for SLT-2016. Unlike last year's English MGB Challenge, which focused on recognition of diverse TV genres, this year, the challenge has an emphasis on handling the diversity in dialect in Arabic speech. Audio data comes from 19 distinct programmes from the Aljazeera Arabic TV channel between March 2005 and December 2015. Programmes are split into three groups: conversations, interviews, and reports. A total of 1,200 hours have been released with lightly supervised transcriptions for the acoustic modelling. For language modelling, we made available over 110M words crawled from Aljazeera Arabic website Aljazeera.net for a 10 year duration 2000-2011. Two lexicons have been provided, one phoneme based and one grapheme based. Finally, two tasks were proposed for this year's challenge: standard speech transcription, and word alignment. This paper describes the task data and evaluation process used in the MGB challenge, and summarises the results obtained.

연구 동기 및 목표

• 다양한 아랍어 어조, 겹치는 말, 비표준 발음 등의 과제를 고려하여 아랍어 다국어 방송 미디어에서 자동 음성 인식 시스템을 평가하는 것.
• 알자지라 티비에서 수집한 1,200시간의 경량으로 감시된 음성 데이터를 기반으로 표준화된 벤치마크를 제공하여 다양한 시스템 간 재현 가능한 평가를 가능하게 하는 것.
• 알자지라넷에서 수집한 정제된 데이터, 어휘집(음소 및 음절 기반), 언어 모델을 공개함으로써 다국어 아랍어 ASR 분야의 연구를 촉진하는 것.
• 방송 미디어에서의 단어 정렬 성능을 평가하고, 향후 비교를 위한 기준 시스템을 개발하는 것.
• 다양한 아랍어 음성 장르와 어조를 처리할 수 있는 강력한 음성 모델 및 언어 모델 개발을 장려하는 것.

제안 방법

• 2005–2015년 기간 동안 알자지라 티비 방송 1,200시간을 수집하였으며, 수동으로 음성 번역되었지만 정확한 대본은 아니며, 번역 품질은 변동성이 있었고, 시간 정보는 포함되지 않았다.
• QCRI의 음절 기반 LVCSR 시스템을 사용하여 경량 정렬을 수행하였으며, LSTM 음성 모델과 삼중어 모델을 활용하여 단어 수준의 시간 정보와 신뢰도 점수를 생성하였다.
• ASR 출력과 원본 번역을 매칭하기 위해 Smith-Waterman 국소 정렬을 적용하였으며, 정확한 매칭과 근사 매칭(퍼지 편집 거리)을 모두 사용하여 어색한 표현과 중복 표현을 처리하였다.
• 정렬 품질 평가를 위해 AnchorRate 지표를 정의하였다: AnchorRate = (매칭된 단어 수) / (번역문의 총 단어 수), 결과적으로 정확한 매칭 비율은 48%, 근사 매칭 비율은 15%를 기록하였다.
• 알자지라넷에서 수집한 두 가지 어휘집(음절 및 음소 기반)과 10년간의 웹 크롤링을 통해 확보한 언어 모델(1,100만 단어)을 제공하여 언어 모델링을 지원하였다.
• 두 작업 모두에 대한 기준 시스템을 개발하였다: 음성 인식을 위한 DNN/TDNN/LSTM 기반 ASR 시스템과, 100ms 시간 창을 사용한 규칙 기반 정렬 시스템(정밀도 0.83, 재현율 0.70).

실험 결과

연구 질문

• RQ1 겹치는 말과 변동성이 큰 발음이 있는 방송 미디어에서 딥 뉴럴 네트워크 기반 음성 모델이 다양한 아랍어 어조를 얼마나 효과적으로 인식할 수 있는가?
• RQ2 하이브리드 언어 모델(기존 n-gram + RNNLM)이 자원이 적고 다국어 어조가 혼합된 아랍어 음성 인식에서 얼마나 성능을 향상시킬 수 있는가?
• RQ3 데이터 선택 및 필터링(예: 단어 수준의 매칭 오류율과 최적의 단어 지속 시간 기반)이 대규모 아랍어 ASR 시스템의 최종 WER에 어떤 영향을 미치는가?
• RQ4 시작 시간 정보가 없는 방송 음성에서 자동 단어 정렬 시스템의 성능은 어떻게 되며, 수동 정렬과 비교했을 때 어떤가?
• RQ5 Confusion network 디코딩을 통한 시스템 조합이 다국어 아랍어 ASR에서 WER를 크게 감소시킬 수 있는가? 최적의 조합 전략은 무엇인가?

주요 결과

• 최고의 시스템은 공식 테스트 세트에서 WER 14.7%를 기록하였으며(겹침 음성 제외), 기준 WER 34% 대비 57%의 상대적 감소를 기록하였다.
• DNN, TDNN, LSTM 등의 하이브리드 음성 모델과 RNNLM을 결합한 시스템이 가장 낮은 WER를 기록하였으며, MIT의 G-LSTM 모델과 QCRI의 혼합 네트워크 조합 시스템이 랭킹을 이끌었다.
• 낮은 단어 수준의 매칭 오류율(MER)과 최적의 단어 지속 시간(AWD) 기반의 데이터 선택이 훈련 데이터의 품질을 향상시켰으며, NDSC는 훈련에 적합한 680시간의 고품질 데이터를 선별하였다.
• 혼합 네트워크 디코딩을 통한 시스템 조합은 WER를 최대 1.2% 절감시켰으며, NDSC는 수동 분할을 사용할 경우 18.2%의 WER, 자동 분할을 사용할 경우 19.4%의 WER를 기록하였다.
• 기준 정렬 시스템은 정밀도 0.83, 재현율 0.70, F1 스코어 0.76를 기록하여 향후 정렬 연구의 탄탄한 기반을 마련하였다.
• 다양한 노력에도 불구하고, 단어 정렬 과제에 대한 제출은 없었으며, 이는 이 분야가 여전히 도전적이며 향후 혁신의 잠재력이 크다는 것을 시사한다.