[논문 리뷰] Multi-domain machine translation enhancements by parallel data extraction from comparable corpora

Krzysztof Wołk, Emilia Rejmund외 1명|arXiv (Cornell University)|2016. 03. 22.

Natural Language Processing Techniques참고 문헌 2인용 수 7

한 줄 요약

이 논문은 사전에 평행 자료가 없는 상태에서 웹 크롤링과 유사도 기반 필터링을 활용해 비교 가능한 어휘자료(예: 위키백과 또는 도메인 특화 웹 컬렉션)에서 고품질의 평행 문장을 추출하는 비지도, 확장 가능한 방법을 제안한다. 이 방법은 기존 평행 자료가 필요 없이 도메인 맞춤형 평행 자료를 생성함으로써 다양한 도메인(예: 의료, 영화, 의회 토론)에서 통계적 기계 번역 성능을 크게 향상시키며 BLEU 점수에서 측정 가능한 향상을 이룬다.

ABSTRACT

Parallel texts are a relatively rare language resource, however, they constitute a very useful research material with a wide range of applications. This study presents and analyses new methodologies we developed for obtaining such data from previously built comparable corpora. The methodologies are automatic and unsupervised which makes them good for large scale research. The task is highly practical as non-parallel multilingual data occur much more frequently than parallel corpora and accessing them is easy, although parallel sentences are a considerably more useful resource. In this study, we propose a method of automatic web crawling in order to build topic-aligned comparable corpora, e.g. based on the Wikipedia or Euronews.com. We also developed new methods of obtaining parallel sentences from comparable data and proposed methods of filtration of corpora capable of selecting inconsistent or only partially equivalent translations. Our methods are easily scalable to other languages. Evaluation of the quality of the created corpora was performed by analysing the impact of their use on statistical machine translation systems. Experiments were presented on the basis of the Polish-English language pair for texts from different domains, i.e. lectures, phrasebooks, film dialogues, European Parliament proceedings and texts contained medicines leaflets. We also tested a second method of creating parallel corpora based on data from comparable corpora which allows for automatically expanding the existing corpus of sentences about a given domain on the basis of analogies found between them. It does not require, therefore, having past parallel resources in order to train a classifier.

연구 동기 및 목표

• 저자원 및 도메인 특화 번역 과제에서 평행 어휘자료의 부족 문제를 해결하기 위해.
• 대규모 비교 가능한 어휘자료에서 평행 문장을 추출하기 위한 비지도적이고 확장 가능한 방법을 개발하기 위해.
• 비평행 자료원에서 도메인 특화 평행 자료를 추출하여 통계적 기계 번역 시스템을 향상시키기 위해.
• 기존 평행 자료가 없는 상태에서 유사도 기반 문장 매칭을 활용해 기존 평행 어휘자료를 자동으로 확장하기 위해.
• 다양한 도메인과 언어 쌍(특히 폴란드어-영어)에서 추출된 자료의 영향을 평가하여 번역 품질에 미치는 영향을 분석하기 위해.

제안 방법

• 다국어 자료(예: 위키백과)에서 주제가 일치하는 비교 가능한 어휘자료를 자동으로 웹 크롤링하여 구축하기 위해.
• 비지도 문장 정렬 기법을 적용하여 비교 가능한 어휘자료 내 후보 평행 문장을 식별하기 위해.
• 일관성 없거나 부분적으로 동일한 번역을 제거하기 위해 유사도 기반 필터링을 사용하여 데이터 품질을 향상시키기 위해.
• 다국어 문장 임베딩 모델을 활용해 언어 간 문장 수준의 대응 관계를 탐지하기 위해.
• 다른 도메인 간 유사한 문장 구조를 식별함으로써 기존 평행 어휘자료를 확장하는 방법을 설계하기 위해.
• 추출된 평행 자료를 통계적 기계 번역 시스템에 통합하여 도메인 맞춤형 적응을 수행하기 위해.

실험 결과

연구 질문

• RQ1 기존 평행 자료가 없이도 비교 가능한 어휘자료에서 평행 문장을 효과적으로 추출할 수 있는가?
• RQ2 추출된 평행 자료의 품질이 수작업으로 정제된 자료와 번역 성능 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 의료, 영화, 의회 토론과 같은 다양한 도메인에서 기계 번역 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 폴란드어-영어 외 다른 언어 쌍에도 이 방법이 일반화될 수 있는가?
• RQ5 비슷한 자료를 활용한 유사도 기반 기반의 기존 평행 어휘자료 확장은 얼마나 효과적인가?

주요 결과

• 제안된 방법은 비교 가능한 어휘자료에서 고품질의 평행 문장을 성공적으로 추출하였으며, 다양한 도메인에서 번역 성능을 크게 향상시켰다.
• 추출된 자료를 활용한 결과, 강의, 문구집, 영화 대사, 의료 안내문 등 모든 테스트 도메인에서 BLEU 점수에 측정 가능한 향상이 이루어졌다.
• 필터링 메커니즘이 일관성 없거나 부분적으로 동일한 번역을 효과적으로 제거하여 데이터 신뢰도를 향상시켰다.
• 유사도 기반 확장 방법을 통해 사전 평행 자료가 없더라도 어휘자료의 크기를 늘릴 수 있었으며, 확장성과 적응 가능성의 잠재력을 입증하였다.
• 다양한 언어에서 효과적이고 확장 가능한 성능을 보였으며, 저자원 및 도메인 특화 환경에서 뚜렷한 성능 향상이 관찰되었다.
• 평가 결과, 추출된 자료가 무작위 또는 필터링되지 않은 비교 자료로 훈련된 베이스라인 시스템보다 성능이 뛰어나다는 것이 확인되었다.