[논문 리뷰] MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing

Raj Dabre, Sadao Kurohashi|arXiv (Cornell University)|2017. 10. 03.

Natural Language Processing Techniques참고 문헌 11인용 수 8

한 줄 요약

이 논문은 59개 언어와 5개 도메인을 아우르는 다국어 다방향 코퍼스(MMC)를 통합하고 체계적으로 정리한 MMCR4NLP를 소개한다. 기존의 双어 병렬 자료인 Europarl, TED Talks, 성경, ILCI, UN 등에서 영어를 중추로 삼아 N-어 병렬 코퍼스를 추출하고, 표준화된 훈련/검증/테스트 분할을 제공함으로써, 공정하고 재현 가능한 다국어 NLP 연구를 가능하게 하며, 전이 학습 및 도메인 적응 능력을 향상시킨다.

ABSTRACT

Multilinguality is gradually becoming ubiquitous in the sense that more and more researchers have successfully shown that using additional languages help improve the results in many Natural Language Processing tasks. Multilingual Multiway Corpora (MMC) contain the same sentence in multiple languages. Such corpora have been primarily used for Multi-Source and Pivot Language Machine Translation but are also useful for developing multilingual sequence taggers by transfer learning. While these corpora are available, they are not organized for multilingual experiments and researchers need to write boilerplate code every time they want to use said corpora. Moreover, because there is no official MMC collection it becomes difficult to compare against existing approaches. As such we present our work on creating a unified and systematically organized repository of MMC spanning a large number of languages. We also provide training, development and test splits for corpora where official splits are unavailable. We hope that this will help speed up the pace of multilingual NLP research and ensure that NLP researchers obtain results that are more trustable since they can be compared easily. We indicate corpora sources, extraction procedures if any and relevant statistics. We also make our collection public for research purposes.

연구 동기 및 목표

• NLP 연구를 위한 중앙집중적이고 체계적으로 정리된 다국어 다방향 코퍼스(MMC)의 부족을 해결하기 위해.
• 다양한 이중어 자료에서 MMC를 추출하고 정리하기 위해 반복적으로 필요한 보일러플레이트 코드를 제거함으로써 부가적인 엔지니어링 작업을 줄이기 위해.
• 공식 분할이 없는 경우에도 표준화된 훈련, 검증, 테스트 분할을 제공함으로써 다국어 NLP 방법의 공정하고 비교 가능한 평가를 가능하게 하기 위해.
• 언어 유사성에 기반한 전이 학습 및 언어 관련성 연구를 지원하기 위해 언어계열별로 코퍼스를 그룹화하기 위해.
• 모든 코퍼스를 공개하고 명확한 기원과 추출 절차를 제공함으로써 MMC의 접근성과 재사용 가능성을 높이기 위해.

제안 방법

• Europarl, TED Talks, 성경, ILCI, UN 등의 자료에서 영어를 중추 언어로 삼아 이중 병렬 코퍼스 간 문장을 정렬함으로써 N-어 병렬 코퍼스를 추출한다.
• 문장 번역 간의 교차를 효율적으로 저장하고 식별하기 위해 해시맵을 사용하여 다양한 언어 쌍 간의 문장 번역을 처리한다.
• 공식 분할이 없는 코퍼스, 특히 IWSLT, 성경, TED, Europarl에 대해 표준화된 훈련/검증/테스트 분할(검증 및 테스트 각 2000개, 나머지 훈련용)을 생성한다.
• 독일어계, 라틴어계, 슬라브어계, 우랄어계, 발트어계 등 언어계열별로 코퍼스를 정리하여 언어 유사성 및 전이 학습 연구를 지원한다.
• 연구자들이 구현 오버헤드를 줄일 수 있도록 코퍼스 추출 및 정리에 사용할 오픈소스 스크립트를 제공한다.
• 여행, 건강, 외교, 회의, 종교적 텍스트 등 다양한 도메인을 포함시켜 도메인 적응 연구를 지원한다.

실험 결과

연구 질문

• RQ1 기존의 이중 병렬 코퍼스에서 다국어 다방향 코퍼스를 체계적으로 추출하고 정리하는 방법은 무엇인가? 이를 통해 다국어 NLP 연구를 어떻게 지원할 수 있는가?
• RQ2 표준화된 훈련/검증/테스트 분할은 다국어 NLP 실험의 재현 가능성과 비교 가능성에 얼마나 기여하는가?
• RQ3 언어계열별로 코퍼스를 그룹화함으로써 포착된 언어 유사성은 다국어 NLP 과제에서 전이 학습 성능에 어떤 영향을 미치는가?
• RQ4 통합된, 공개 가능한 다국어 코퍼스 레포지터리는 연구자가 다국어 실험을 위한 데이터를 준비하는 데 소요되는 시간과 노력을 얼마나 줄일 수 있는가?
• RQ5 기존의 이중어 자료에서 대규모 N-어 코퍼스를 구축하는 데 있어 실질적인 제약과 확장성은 무엇인가?

주요 결과

• MMCR4NLP 레포지터리는 5개 도메인에 걸쳐 총 59개 언어를 포함하고 있으며, 가장 큰 코퍼스는 21개 언어로 구성된 Europarl 코퍼스로 189,310줄이다.
• 저자들은 성공적으로 10개 언어로 구성된 Europarl 코퍼스(1,071,000줄)와 5개 언어로 구성된 게르만어계 언어 코퍼스(1,408,000줄)를 추출하여 다양한 언어군에서의 확장성을 입증했다.
• 공식 분할이 없는 코퍼스에 대해 저자들은 검증 및 테스트에 각각 2,000개씩, 나머지는 훈련용으로 표준화된 분할을 생성하여 연구 간 공정한 평가를 가능하게 하였다.
• ILCI 코퍼스는 12개 언어로 확장되었지만 여전히 비공개 상태이며, 팀은 연구용으로 6개 언어 버전을 추출하였다.
• 성경 코퍼스는 일관된 분할을 갖춘 다국어 버전으로 변환되어 저자원 NLP 연구를 지원하였다.
• Europarl 코퍼스는 언어계열별로 분류된 컬렉션(예: 6개 언어의 슬라브어계, 5개 언어의 라틴어계)으로 정리되어 언어 유사성에 대한 비교 연구를 가능하게 하였다.