[논문 리뷰] MIZAN: A Large Persian-English Parallel Corpus

Omid Kashefi|arXiv (Cornell University)|2018. 01. 07.

Natural Language Processing Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 100만 개 이상의 문장 쌍을 포함한 가장 큰 공개 가능한 페르시아어-영어 병렬 코퍼스인 MIZAN을 소개한다. 이 코퍼스는 저작권이 없는 디지털화된 문학 작품들에서 수작업으로 수집되었으며, 통계적 기계 번역(SMT) 향상에 기여한다. MIZAN은 도메인 내 테스트 세트에서 BLEU 점수 27.84를 기록했으며, 형태학적 인식 모델과 동사 특화 정렬 개선이 페르시아어-영어와 같은 저자원 언어 쌍의 번역 품질을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

One of the most major and essential tasks in natural language processing is machine translation that is now highly dependent upon multilingual parallel corpora. Through this paper, we introduce the biggest Persian-English parallel corpus with more than one million sentence pairs collected from masterpieces of literature. We also present acquisition process and statistics of the corpus, and experiment a base-line statistical machine translation system using the corpus.

연구 동기 및 목표

• 통계적 기계 번역(SMT)을 위한 대규모 고품질 페르시아어-영어 병렬 코퍼스의 부족 문제를 해결하기 위해.
• 저자원 언어의 자연어 처리(NLP) 연구를 지원하기 위해 문학 텍스트에서 공개 가능하고 수작업으로 정렬된 코퍼스를 개발하기 위해.
• 페르시아어-영어 번역에서 기본 SMT 성능을 평가하고 정렬 및 형태학적 문제와 같은 핵심 과제를 규명하기 위해.
• 형태학적 인식 처리 및 목표 지향적 동사 정렬 향상으로 SMT 향상 가능성을 탐색하기 위해.
• 미래의 페르시아어-영어 기계 번역 및 다국어 NLP 연구를 위한 기준 자료를 제공하기 위해.

제안 방법

• Project 구글버그에서 500개의 영어 문학 작품을 확보하고, 이란 국립도서관 자료를 통해 180개의 대응 페르시아어 번역을 식별하였다.
• 고수준의 OCR 오류율(WER ≈ 30%)으로 인해 페르시아어 텍스트를 수작업 타이핑을 통해 디지털화하여 고품질 텍스트를 확보하였다.
• Virastyar 툴킷을 사용해 정규화를 수행하여 유니코드 문자를 표준화하고, 선택적 음절 표기법을 제거하며, ezafe 사용을 통일하고, 단어 내 간격 오류를 수정하였다.
• 대응 점수 모델을 사용한 자동 챕터 수준 정렬 후, 전용 소프트웨어 도구를 활용한 전문가 기반 문장 수준 정렬을 수행하였다.
• Moses 툴킷을 사용해 기본 SMT 시스템을 훈련하고, 기준 번역 및 수정 번역과의 비교를 통해 BLEU 점수로 성능을 평가하였다.
• 불일치를 줄이기 위해 300개의 공통 영어 동사와 그에 대응하는 페르시아어 번역어를 추가하고, 어간 추출을 적용하였다.

실험 결과

연구 질문

• RQ1 대규모 수작업 정렬 페르시아어-영어 병렬 코퍼스가 기본 SMT 성능 향상에 얼마나 효과적인가?
• RQ2 특히 동사 정렬과 어순 차이에 기인한 페르시아어-영어 SMT 번역 오류의 주요 원인은 무엇인가?
• RQ3 형태학적 인식 처리가 페르시아어-영어 번역의 SMT 출력 품질 향상에 어느 정도 기여하는가?
• RQ4 수정 편집이 BLEU 점수 평가에 미치는 영향은 무엇이며, 인간의 유창성 기대치에 대해 무엇을 드러내는가?
• RQ5 목표 지향적 동사 쌍 추가 및 어간 추출이 테스트 세트 간 성능 변동성을 어떻게 크게 줄일 수 있는가?

주요 결과

• MIZAN 코퍼스는 1,000,000개의 문장 쌍과 2500만 개의 어휘를 포함하여, 공개 가능한 가장 큰 페르시아어-영어 병렬 코퍼스이다.
• 기본 SMT는 확보된 테스트 세트에서 BLEU 점수 27.84를 기록했고, EiT 세트에서는 39.86를 기록하여 중간 수준의 성능을 보였다.
• 100개의 랜덤 출력을 수정한 결과 BLEU 점수는 각각 51.59와 57.35로 상승했으며, 이는 약 50%의 번역이 최소한의 수정만으로 인간의 유창성 기준을 충족시킬 수 있음을 시사한다.
• 300개의 동사 쌍 추가로 BLEU 점수가 상승하여, 장거리 동사 정렬 및 어순 재배치가 핵심 과제임을 다시 한번 입증하였다.
• 어간 추출은 출력과 기준 번역 간 어형 어휘 감소 갭을 18–27% 감소시켜, 형태학적 인식 모델이 SMT 성능 향상에 크게 기여할 수 있음을 보여주었다.
• 형태학적 통계 분석 결과, 출력에서 기준 번역 대비 24–27% 적은 어형 어휘가 사용되어, 현재 SMT 시스템에서 페르시아어 번역에 대한 핵심 실패 요인이 드러났다.