[논문 리뷰] The JRC-Acquis: A multilingual aligned parallel corpus with 20+ languages

Ralf Steinberger, Bruno Pouliquen외 5명|ArXiv.org|2006. 09. 12.

Natural Language Processing Techniques참고 문헌 12인용 수 429

한 줄 요약

JRC-Acquis는 약 8,000건의 유럽연합 법률 문서를 20개 이상의 공식 EU 언어로 번역한 무료로 이용 가능한 다국어 병렬 코퍼스로, 190개 이상의 언어 조합에서 두 개의 정렬 도구(Vanilla 및 HunAlign)를 통해 문단 수준의 쌍방향 정렬을 제공한다. 이는 다국어 NLP 연구, NLP 도구의 벤치마킹, 다중 레이블 분류 및 키워드 할당 시스템의 학습에 활용되며, XML 형식으로 인코딩되고 EUROVOC 주제 메타데이터를 포함하고 있다.

ABSTRACT

We present a new, unique and freely available parallel corpus containing European Union (EU) documents of mostly legal nature. It is available in all 20 official EUanguages, with additional documents being available in the languages of the EU candidate countries. The corpus consists of almost 8,000 documents per language, with an average size of nearly 9 million words per language. Pair-wise paragraph alignment information produced by two different aligners (Vanilla and HunAlign) is available for all 190+ language pair combinations. Most texts have been manually classified according to the EUROVOC subject domains so that the collection can also be used to train and test multi-label classification algorithms and keyword-assignment software. The corpus is encoded in XML, according to the Text Encoding Initiative Guidelines. Due to the large number of parallel texts in many languages, the JRC-Acquis is particularly suitable to carry out all types of cross-language research, as well as to test and benchmark text analysis software across different languages (for instance for alignment, sentence splitting and term extraction).

연구 동기 및 목표

• 다양한 언어로 번역된 대규모 유럽연합 입법 문서의 병렬 코퍼스를 구축하여 다국어 연구를 지원하기 위해.
• 다양한 언어 조합에서 문단 수준의 정렬된 고품질 다국어 병렬 코퍼스의 부족 문제를 해결하기 위해.
• 문장 정렬, 용어 추출, 다중 레이블 분류 시스템과 같은 NLP 도구의 학습 및 평가를 위한 표준화되고 구조화된 자원을 제공하기 위해.
• EUROVOC를 포함한 세부 주제 메타데이터를 포함하여 다국어 환경에서 의미 분류 및 키워드 할당 연구를 가능하게 하기 위해.

제안 방법

• 언어별로 약 8,000건의 EU 법률 문서를 수집하여 언어당 약 900만 단어의 총량을 확보하였다.
• 모든 190개 이상의 언어 조합에서 병렬 텍스트 세그먼트를 생성하기 위해 두 가지 다른 문단 정렬 도구(Vanilla 및 HunAlign)를 적용하였다.
• 다중 레이블 분류 연구를 지원하기 위해 문서를 수작업으로 EUROVOC 주제 영역으로 분류하였다.
• 일致하고 기계로 처리 가능한 구조를 확보하기 위해 텍스트 인코딩을 Text Encoding Initiative(TEI) 가이드라인에 따라 XML 형식으로 수행하였다.
• 문서 유형, 언어, 주제 분류와 같은 메타데이터를 포함하여 NLP 파이프라인 내에서의 검색 가능성과 활용도를 향상시켰다.
• 학술 및 연구 목적을 위해 공개 저장소를 통해 전체 액세스가 가능한 형태로 코퍼스를 배포하였다.

실험 결과

연구 질문

• RQ1 다양한 언어 조합에서 다국어 EU 법률 문서의 정렬에 대해 Vanilla 및 HunAlign 등의 다양한 문단 정렬 기법이 얼마나 효과적인가?
• RQ2 JRC-Acquis는 여러 유럽어에서 다중 레이블 텍스트 분류 시스템의 학습 및 평가에 어느 정도 기여할 수 있는가?
• RQ3 이 코퍼스는 문장 분할, 용어 추출, 정렬 정확도 등의 다국어 NLP 작업을 위한 신뢰할 수 있는 기준 자료로 활용될 수 있는가?
• RQ4 EUROVOC 주제 메타데이터의 포함이 다국어 환경에서 키워드 할당 및 의미 분류 도구의 성능에 얼마나 기여하는가?
• RQ5 다양한 언어적 및 법적 영역에 적용되었을 때, 대규모 다국어 병렬 코퍼스의 확장성과 일관성은 어떠한가?

주요 결과

• JRC-Acquis는 언어당 약 8,000건의 문서를 포함하고 있으며, 언어당 평균 약 900만 단어로, 공개적으로 이용 가능한 가장 큰 다국어 병렬 코퍼스 중 하나이다.
• 두 가지 다른 정렬 도구를 사용하여 190개 이상의 언어 조합에서 모두 문단 수준의 정렬을 성공적으로 생성하여 신뢰성과 비교 가능성의 향상을 이뤘다.
• 대부분의 텍스트에 대해 수작업으로 EUROVOC 주제 분류를 수행하여 다중 레이블 분류 및 의미 인덱싱 연구를 위한 고도의 연구 기반을 제공하였다.
• TEI 준수 XML 기반의 코퍼스는 일관되고 기계로 처리 가능한 액세스를 보장하며, 다양한 NLP 파이프라인에의 통합을 지원한다.
• 코퍼스는 무료로 다운로드 가능하여 재현 가능성과 학술 및 산업계 NLP 연구에서의 광범위한 활용을 지원한다.
• 이 자원은 LREC 2006 회의에서 벤치마킹 및 평가에 성공적으로 활용되어 다국어 NLP 작업에 대한 실용성을 입증하였다.