[논문 리뷰] PMIndia -- A Collection of Parallel Corpora of Languages of India

Barry Haddow, Faheem Kirefu|arXiv (Cornell University)|2020. 01. 27.

Natural Language Processing Techniques참고 문헌 12인용 수 68

한 줄 요약

PMIndia는 PM 인도의 뉴스 업데이트에서 파생된 영어-13개 인도어를 쌍으로 하는 공개 가능한 병렬 말뭉치를 도입하며, 정렬 방법과 초기 MT 결과를 제공합니다.

ABSTRACT

Parallel text is required for building high-quality machine translation (MT) systems, as well as for other multilingual NLP applications. For many South Asian languages, such data is in short supply. In this paper, we described a new publicly available corpus (PMIndia) consisting of parallel sentences which pair 13 major languages of India with English. The corpus includes up to 56000 sentences for each language pair. We explain how the corpus was constructed, including an assessment of two different automatic sentence alignment methods, and present some initial NMT results on the corpus.

연구 동기 및 목표

• 인도 언어의 병렬 말뭉치 데이터 부족 문제를 해결하기 위해 대규모 영어–언어 쌍 말뭉치를 구축한다.
• PM India 뉴스 업데이트를 활용하여 13개 인도 언어 간 다국어 문장 정렬을 생성한다.
• 다양한 방법을 사용하여 정렬 품질을 평가하고 말뭉치 활용도를 보여주기 위한 기본 NMT 결과를 제공한다.
• 남아시아 언어의 다국어 NLP 연구를 지원하기 위해 CC-BY-4.0 라이선스하에 자유롭게 이용 가능한 자원을 제공한다.

제안 방법

• 사용자 정의 스크레이퍼와 Alcazar를 사용하여 13개 언어와 영어로 된 PMIndia 뉴스 업데이트에서 기사 본문을 추출한다.
• 확장된 Moses 문장 분리기를 사용하여 모든 대상 언어의 문장을 분리한다.
• LASER 임베딩이 이용 가능할 때 crowd-sourced 사전과 함께 hunalign을 사용하여 문장을 정렬하고, 가능하면 교집합을 사용한다.
• 내재적 지표(정밀도, 재현율, F1)와 English–Tamil 부분집합에 대한 KEOPS 기반 인간 평가를 통해 정렬 품질을 평가한다.
• 공개 말뭉치를 이용해 Marian과 서브워드 단위(BPE 10000 병합) 및 일반적인 저자원 MT 하이퍼파라미터를 사용하여 NMT 시스템을 학습한다.
• 영어↔언어 간 쌍에 대한 BLEU 점수를 보고하여 데이터셋의 번역 품질을 벤치마크한다.

실험 결과

연구 질문

• RQ1 공개적으로 이용 가능한 정부 콘텐츠로부터 인도의 13개 언어와 영어를 쌍으로 하는 대규모 병렬 코퍼스를 구축할 수 있는가?
• RQ2 이 다국어, 저자원 환경에서 서로 다른 자동 문장 정렬 방법(hunalign, Vecalign)의 비교는 어떠한가?
• RQ3 이 코퍼스를 사용하여 영어–언어 쌍 및 반대 방향에서 달성할 수 있는 기본 기계 번역 성능(BLEU)은 무엇인가?
• RQ4 선정된 언어 쌍에 대해 인간 평가로 측정한 내재적 정렬 품질은 무엇인가?

주요 결과

• 영어–인도어 뉴스 업데이트에서 추출한 각 언어 쌍당 최대 56,000문장까지의 PMIndia 말뭉치를 공개한다.
• Vecalign은 여러 언어 쌍에서 대략 80% 수준으로 hunalign과 일치를 보이며, 영어–히디어에서 더 높은 일치를 보인다.
• 두 정렬기의 교집합에 대해 인간 평가에서 높은 정확도를 보이며, 79%의 유효 정렬과 잘못된 토큰화 사례를 고려하지 않는 경우 94%의 관대 정확도를 보인다.
• NMT 실험은 인도어로의 번역에서 낮은 BLEU 점수(특히 드라비다어 계열)와 영어에서 인도어 방향으로 비교적 더 나은 점수를 나타내며, 작은 데이터 양에도 불구하고 영어–우르두 및 영어–마니푸리에서 비교적으로 높은 결과를 보인다.
• 드라비다어 및 다른 교착어형 언어 특성은 번역 난이도에 기여하며, 데이터 양만이 낮은 성능의 유일한 요인이 아님을 시사한다; 도메인 및 언어 구조가 중요한 역할을 한다.