[논문 리뷰] Extraction of domain-specific bilingual lexicon from comparable corpora: compositional translation and ranking

Estelle Delpech, Béatrice Daille외 2명|arXiv (Cornell University)|2012. 10. 21.

Natural Language Processing Techniques참고 문헌 34인용 수 25

한 줄 요약

이 논문은 병렬 문장집이 없을 경우에도 영역 특화 이중어 어휘를 추출하기 위한 방법을 제시한다. 이는 어형 수준 번역 등가성과 조합 번역을 사용하여 원천 어휘보다 더 긴 목표 어휘를 생성하는 '풍성한' 번역을 생성한다. 문장집 기반 및 번역 기반 특징을 조합하여 순위를 매기며, 영어-프랑스어 및 영어-독일어 쌍에서 각각 400만 단어당 91%의 평균 정밀도를 달성한다.

ABSTRACT

This paper proposes a method for extracting translations of morphologically constructed terms from comparable corpora. The method is based on compositional translation and exploits translation equivalences at the morpheme-level, which allows for the generation of "fertile" translations (translation pairs in which the target term has more words than the source term). Ranking methods relying on corpus-based and translation-based features are used to select the best candidate translation. We obtain an average precision of 91% on the Top1 candidate translation. The method was tested on two language pairs (English-French and English-German) and with a small specialized comparable corpora (400k words per language).

연구 동기 및 목표

• 병역 문장집이 이용 가능하지 않을 경우 정확하고 영역 특화된 이중어 어휘를 구축하는 데 도전하는 것.
• 형태소 조합을 활용하여 원천 어휘보다 더 복잡한 목표 어휘를 생성하는 '풍성한' 번역을 가능하게 하는 것.
• 병역 데이터에 의존하지 않고 유사 문장집만을 사용하여 전문 분야에서의 번역 품질을 향상시키는 것.
• 문장집 기반 및 번역 기반 특징의 조합을 통해 후보 번역의 순위를 효과적으로 매기는 것.

제안 방법

• 이 방법은 어휘를 형태소로 분해하고, 유사 문장집에서 어형 수준 번역 등가성을 식별한다.
• 다중어어휘의 후보 번역을 생성하기 위해 번역된 형태소를 조합하여 조합 번역을 적용한다.
• 공동 등장 빈도 등의 문장집 기반 특징과 정렬 신뢰도 등의 번역 기반 특징의 가중 조합을 사용하여 후보 번역을 순위 매긴다.
• 특징으로는 n-gram 공동 등장 빈도, 형태소 정렬 점수, 유사 문장집에서 유도된 번역 확률 추정치가 포함된다.
• 순위 매기기 모델은 영어-프랑스어 및 영어-독일어에 대해 각 언어당 400만 단어의 소규모 영역 특화 유사 문장집에서 훈련 및 평가된다.
• 정확한 어휘 분해 및 조합을 지원하기 위해 기존 형태소 분석 도구를 활용한다.

실험 결과

연구 질문

• RQ1 유사 문장집에서 신뢰성 있게 어형 수준 번역 등가성을 추출할 수 있는가? 이는 전문 분야 어휘 번역을 지원할 수 있는가?
• RQ2 어형 수준 매핑을 활용한 조합 번역은 정확하고 '풍성한' 번역을 얼마나 효과적으로 생성하는가?
• RQ3 문장집 기반 및 번역 기반 특징의 어떤 조합이 후보 번역 순위 매기기 성능을 최고로 끌어올리는가?
• RQ4 소규모 유사 문장집(각 언어당 400만 단어)이 고정밀도 이중어 어휘 추출을 얼마나 잘 지원할 수 있는가?
• RQ5 이 방법은 영어-프랑스어 및 영어-독일어와 같은 다양한 언어 쌍에서 어떻게 성능을 내는가?

주요 결과

• 이 방법은 영어-프랑스어 및 영어-독일어 언어 쌍에서 상위 후보 번역에 대해 평균 정밀도 91%를 달성한다.
• 어형 수준 번역 등가성의 사용은 원천 어휘보다 더 복잡한 목표 어휘를 생성하는 '풍성한' 번역을 가능하게 한다.
• 공동 등장 빈도와 같은 문장집 기반 특징은 순위 매기기 성능을 크게 향상시킨다.
• 정렬 신뢰도 및 어형 수준 확률과 같은 번역 기반 특징은 순위 정확도에 의미 있는 기여를 한다.
• 훈련 데이터가 제한된 상태에서도 이 방법은 효과적이며, 각 언어당 400만 단어의 유사 문장집만으로도 충분하다.
• 이 방법은 다양한 언어 쌍에 걸쳐 뛰어난 일반화 성능을 보이며, 언어적 다양성에 대한 강건성을 보여준다.