[논문 리뷰] An Arabic-Hebrew parallel corpus of TED talks

Mauro Cettolo|arXiv (Cornell University)|2016. 10. 03.

Natural Language Processing Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 약 2,000개의 TED 강연을 포함하는 고품질의 아랍어-Hebrew 병렬 코퍼스를 제시한다. 각 언어별로 약 350만 토큰과 225,000개의 정렬된 문장 쌍을 포함한다. 이 코퍼스는 아랍어 및 히브리어 번역에서 발생하는 분할 및 문장 부호의 일관성 문제를 해결하기 위해 영어를 피벗으로 사용하여 자막을 재구성함으로써 구축되었으며, 기준 기계 번역 성능은 최신 기술 수준의 시스템과 비슷하다.

ABSTRACT

We describe an Arabic-Hebrew parallel corpus of TED talks built upon WIT3, the Web inventory that repurposes the original content of the TED website in a way which is more convenient for MT researchers. The benchmark consists of about 2,000 talks, whose subtitles in Arabic and Hebrew have been accurately aligned and rearranged in sentences, for a total of about 3.5M tokens per language. Talks have been partitioned in train, development and test sets similarly in all respects to the MT tasks of the IWSLT 2016 evaluation campaign. In addition to describing the benchmark, we list the problems encountered in preparing it and the novel methods designed to solve them. Baseline MT results and some measures on sentence length are provided as an extrinsic evaluation of the quality of the benchmark.

연구 동기 및 목표

• 기계 번역 연구를 위한 고품질의 수동으로 캐릭터화된 아랍어-히브리어 병렬 코퍼스의 부족을 해결하기 위해.
• TED 강연의 아랍어 및 히브리어 번역에서 발생하는 자막 분할 및 문장 부호의 일관성 문제를 해결하기 위해.
• IWSLT 2016 평가 캠페인과 일치하는 표준화된 벤치마크를 제공하기 위해 (훈련, 개발, 테스트 분할 포함).
• 원래 문장 경계를 복원하기 위해 영어를 피벗 언어로 활용하여 문장 수준의 정렬을 향상시키기 위해.
• 신경 기반 및 어휘 기반 기계 번역 시스템의 아랍어-히브리어 방향 훈련 및 평가를 위한 신뢰할 수 있는 자원을 제공하기 위해.

제안 방법

• 코퍼스는 TED 강연의 영어, 아랍어, 히브리어 자막의 WIT 3 XML 배포판을 사용하여 구축되었다.
• 자막은 타임스탬프를 기반으로 캡션 단위로 정렬되었고, 이후 영어를 피벗 언어로 사용하여 전체 문장을 재구성하였다.
• 세 가지 문장 재구성 방법을 평가하였다: (1) 재구성 없음 (원본 캡션), (2) 강력한 문장 부호 기반 재구성 (strngP), (3) 영어 문장 구조를 활용한 피벗 기반 재구성.
• 피벗 방법은 영어 자막의 언어학적 신호를 활용하여 아랍어 및 히브리어의 문장 분할을 보완하여 누락되거나 일관성 없는 문장 부호 문제를 수정하였다.
• 최종 코퍼스는 IWSLT 2016 분할 기준에 따라 훈련, 개발, 테스트 세트로 분할되어 기존 기계 번역 기준과의 호환성을 확보하였다.
• 문장 길이 및 정렬 품질을 측정하여 각 방법의 효과를 평가하였으며, 피벗 방법이 더 뛰어난 안정성과 언어학적 타당성을 보였다.

실험 결과

연구 질문

• RQ1 아랍어 및 히브리어 TED 강연 번역에서 발생하는 일관성 없는 자막 분할 및 문장 부호 문제는 어떻게 수정하여 문장 수준의 정렬을 향상시킬 수 있는가?
• RQ2 영어를 피벗 언어로 사용할 경우, 아랍어-히브리어 병렬 코퍼스의 문장 재구성 품질과 일관성은 어느 정도 향상되는가?
• RQ3 문장 재구성 방법의 선택은 후속 기계 번역 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 언어 간 분할이 다름으로 인해 발생하는 비동기화된 자막은 기계 번역 모델의 훈련 및 평가에 어떤 영향을 미치는가?
• RQ5 최종 벤치마크는 기존 아랍어-히브리어 병렬 코퍼스와 비교해 크기, 품질, 기계 번역 연구에의 적합성 측면에서 어떻게 다른가?

주요 결과

• 최종 아랍어-히브리어 병렬 코퍼스는 약 2,000개의 TED 강연, 225,000개의 문장 쌍, 언어당 350만 토큰을 포함하며, IWSLT 2016 벤치마크와 일치하는 훈련/검증/테스트 분할을 가진다.
• 피벗 기반 문장 재구성 방법은 분산이 낮고, 100 토큰을 초과하는 문장 비율이 0.7‰으로, 강력한 문장 부호 기반 방법(3.0–3.4‰)보다 유의미하게 낮아 더 뛰어난 언어학적 품질을 보였다.
• 피벗 방법은 strngP 방법 대비 긴 문장의 수를 4~5배 감소시켜 자연어 처리 작업에서의 사용 가능성을 향상시켰다.
• 이 벤치마크를 기반으로 훈련된 기준 기계 번역 시스템은 최신 어휘 기반 및 신경 기반 기계 번역 시스템과 비슷한 BLEU 점수를 기록했으며, Google 번역과도 유사한 성능을 보여 코퍼스의 품질을 검증하였다.
• 번역자가 원본 영어 캡션 경계를 따르지 않은 9%의 강연에서 자막 분할 문제를 효과적으로 복구하였으며, 피벗 기반 재구성으로 인해 정렬이 복원되었다.
• 이 코퍼스는 wit3.fbk.eu/mt.php?release=2016-01-more 에서 공개되어 있어 아랍어-히브리어 기계 번역 분야에서 재현 가능한 평가 및 훈련을 가능하게 한다.