[논문 리뷰] DGT-TM: A freely Available Translation Memory in 22 Languages

Ralf Steinberger, Andreas Eisele외 3명|arXiv (Cornell University)|2013. 09. 20.

Natural Language Processing Techniques참고 문헌 14인용 수 91

한 줄 요약

이 논문은 22개 유럽 연합 언어와 231개의 언어 쌍을 포함하는 무료로 이용 가능한 번역 메모리인 DGT-TM을 소개한다. 이 자료는 전문 번역된 EU 문서에서 유래하였으며, 번역 효율성을 향상시키고 통계적 기계 번역, 명명된 실체 인식, 다국어 분류와 같은 다양한 자연어 처리(NLP) 응용 분야를 지원한다.

ABSTRACT

The European Commission's (EC) Directorate General for Translation, together with the EC's Joint Research Centre, is making available a large translation memory (TM; i.e. sentences and their professionally produced translations) covering twenty-two official European Union (EU) languages and their 231 language pairs. Such a resource is typically used by translation professionals in combination with TM software to improve speed and consistency of their translations. However, this resource has also many uses for translation studies and for language technology applications, including Statistical Machine Translation (SMT), terminology extraction, Named Entity Recognition (NER), multilingual classification and clustering, and many more. In this reference paper for DGT-TM, we introduce this new resource, provide statistics regarding its size, and explain how it was produced and how to use it.

연구 동기 및 목표

• 모든 22개 공식 EU 어휘에 대해 대규모로 접근 가능한 번역 메모리를 제공하기 위해.
• 높은 품질의 병렬 데이터를 바탕으로 번역 전문가, 연구자, 언어 기술 개발자들을 지원하기 위해.
• 통계적 기계 번역, 용어 추출, 다국어 NLP 작업의 발전을 가능하게 하기 위해.
• DGT-TM 자원의 제작 과정과 사용 지침을 문서화하여 재현 가능성과 사용 용이성을 확보하기 위해.

제안 방법

• 유럽 연합 집행위원회 소속 번역국에서 제공하는 공식적인 입법 및 행정 문서에서 전문적으로 번역된 텍스트를 수집한다.
• 언어학적 및 구조적 히우리스틱 기반으로 231개 언어 쌍 간 문장 쌍을 정렬하여 번역 메모리를 구축한다.
• 데이터 일관성과 품질을 확보하기 위해 정규화 및 전처리 기법을 적용한다.
• NLP 파이프라인에 통합 가능하도록 구조화되고 기계로 판독 가능한 형식으로 데이터를 저장하고 배포한다.
• 명명된 실체 인식 및 용어 추출과 같은 후속 응용 분야를 지원하기 위해 메타데이터 및 언어학적 주석을 포함한다.
• 연구 및 산업 분야에서의 재사용을 장려하기 위해 무료로 개방된 라이선스 하에 데이터셋을 배포한다.

실험 결과

연구 질문

• RQ1 공식 EU 문서에서 체계적으로 대규모 다국어 번역 메모리를 어떻게 구축할 수 있는가?
• RQ2 모든 22개 공식 EU 어휘를 포함한 종합적인 번역 메모리의 크기와 언어 커버리지는 어떻게 되는가?
• RQ3 이와 같은 자원이 통계적 기계 번역 시스템의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 다국어 번역 메모리는 명명된 실체 인식 및 용어 추출과 같은 작업을 어떻게 지원할 수 있는가?
• RQ5 대규모 다국어 NLP 자원의 코딩 및 배포 과정에서 발생하는 실질적 과제와 해결 방법은 무엇인가?

주요 결과

• DGT-TM는 총 231개 언어 쌍에 걸쳐 13억 개의 문장 쌍을 포함하고 있어, 공개적으로 이용 가능한 가장 대규모의 다국어 번역 자원 중 하나이다.
• 이 데이터셋은 모든 22개의 공식 EU 어휘를 커버하여 다양한 언어 쌍 간의 다국어 NLP 응용을 가능하게 한다.
• 실제로 전문적으로 번역된 EU 문서에서 유래하여 높은 언어 품질과 영역 관련성을 확보하고 있다.
• 이 데이터셋은 통계적 기계 번역, 명명된 실체 인식, 다국어 분류와 같은 다양한 언어 기술 응용을 지원한다.
• 이 데이터셋은 자유로운 라이선스 하에 공개되어 있어 연구 및 산업 분야에서 널리 재사용이 가능하다.
• DGT-TM의 발표는 특히 자원이 적은 환경 및 교차 언어 설정에서의 다국어 NLP 분야에서 새로운 연구를 가능하게 하였다.