[논문 리뷰] Automatic Identification of Document Translations in Large Multilingual Document Collections

Bruno Pouliquen, Ralf Steinberger외 1명|ArXiv.org|2006. 09. 12.

Natural Language Processing Techniques참고 문헌 14인용 수 53

한 줄 요약

이 논문은 다국어 문헌 컬렉션에서 문서 번역을 자동으로 식별하는 시스템을 제안한다. 텍스트를 다국어 어휘사전 용어의 벡터로 표현하고 의미 유사도를 측정함으로써 이루어진다. 이 시스템은 최대 820개의 문서에서 번역을 식별할 때 96% 이상의 정밀도를 달성하며, 언어별 특이성을 배제하면서도 다양한 언어 간 일관된 유사도 점수를 유지한다.

ABSTRACT

Texts and their translations are a rich linguistic resource that can be used to train and test statistics-based Machine Translation systems and many other applications. In this paper, we present a working system that can identify translations and other very similar documents among a large number of candidates, by representing the document contents with a vector of thesaurus terms from a multilingual thesaurus, and by then measuring the semantic similarity between the vectors. Tests on different text types have shown that the system can detect translations with over 96% precision in a large search space of 820 documents or more. The system was tuned to ignore language-specific similarities and to give similar documents in a second language the same similarity score as equivalent documents in the same language. The application can also be used to detect cross-lingual document plagiarism.

연구 동기 및 목표

• 대규모 다국어 문서 컬렉션에서 번역된 문서를 효율적으로 식별하는 데 도전하는 것.
• 언어에 관계없이 문서 간 의미 유사도를 탐지하는 방법을 개발하여 언어적 형식이 아닌 내용에 초점을 맞추는 것.
• 다국어 뉴스 연결 및 다국어 표절 탐지와 같은 애플리케이션을 가능하게 하는 것.
• 동일한 문서가 다른 언어로 번역된 경우에도 일관된 유사도 점수를 유지하여 언어별 편향을 방지하는 것.
• 큰 검색 공간에서도 효과적으로 확장되며, 높은 정밀도와 재현율을 유지하는 것.

제안 방법

• 다국어 어휘사전의 용어로 구성된 벡터를 사용해 문서의 내용을 표현하여 다양한 언어 간 의미를 포착하는 것.
• 어휘적 형태가 아닌 개념적 동등성을 강조하는 유사도 함수를 사용해 문서 벡터 간 의미 유사도를 측정하는 것.
• 문법 및 형태학적 특성과 같은 언어별 특성을 줄여 공통된 의미에 집중하는 시스템 튜닝.
• 다국어 어휘사전을 활용해 다양한 언어 간 단어를 공통적인 의미 개념으로 매핑하여 다국어 간 비교를 가능하게 하는 것.
• 의미적으로 유사한 문서 쌍을 탐지하여 잠재적인 번역으로 간주하는 시스템 적용.
• 다양한 텍스트 유형에서 성능을 검증하여 도메인 간 강건성을 확보하는 것.

실험 결과

연구 질문

• RQ1 어휘사전 기반의 벡터 표현 방식이 다국어 컬렉션에서 문서 번역을 효과적으로 식별할 수 있는가?
• RQ2 동일한 문서가 다른 언어로 번역된 경우, 시스템이 일관된 유사도 점수를 유지하는가?
• RQ3 820개 이상의 문서로 구성된 큰 검색 공간 내에서 번역을 식별할 때 도달할 수 있는 정밀도 수준은 어느 정도인가?
• RQ4 진짜 번역이 아닌 의미적으로 유사하지만 번역이 아닌 문서들을 시스템이 얼마나 잘 구분할 수 있는가?
• RQ5 이 방법은 다국어 문서 표절 탐지에 효과적으로 적용될 수 있는가?

주요 결과

• 이 시스템은 820개 이상의 문서로 구성된 검색 공간 내에서 번역을 식별할 때 96% 이상의 정밀도를 달성한다.
• 이 방법은 언어별 특성을 성공적으로 보정하여, 서로 다른 언어로 된 동일한 문서가 유사한 유사도 점수를 받는다.
• 다양한 텍스트 유형에서 뛰어난 성능을 보이며, 광범위한 적용 가능성을 보여준다.
• 이 시스템은 뉴스 분석 플랫폼인 NewsExplorer에 구현되어 실제 응용 가능성을 확인했다.
• 다국어 어휘사전의 사용은 병렬 학습 데이터가 없어도 효과적인 다국어 의미 비교를 가능하게 한다.
• 이 시스템은 다국어 표절 탐지 및 다국어 문서 연결과 같은 응용 분야를 효과적으로 지원한다.