[논문 리뷰] A Pattern Matching method for finding Noun and Proper Noun Translations from Noisy Parallel Corpora

Pascale Fung|ArXiv.org|1995. 05. 06.

Natural Language Processing Techniques인용 수 90

한 줄 요약

이 논문은 소음이 많고 문장 수준로 정렬되지 않은 병렬 문장에서 위치 및 빈도 벡터 표현을 사용하여 명사와 고유명사의 이중어 어휘를 편성하기 위한 패턴 매칭 방법을 제시한다. 위치 벡터 간의 유사도를 측정하기 위해 동적 시간 왜곡(DTW)을 적용하고, 보조 어휘 정제를 위해 앵커 포인트를 활용함으로써 주 어휘에서 71.4%의 정밀도와 보조 어휘에서 74.5%의 정밀도를 달성하여 문장 정렬 없이도 도메인 특화 용어를 견고하게 추출할 수 있다.

ABSTRACT

We present a pattern matching method for compiling a bilingual lexicon of nouns and proper nouns from unaligned, noisy parallel texts of Asian/Indo-European language pairs. Tagging information of one language is used. Word frequency and position information for high and low frequency words are represented in two different vector forms for pattern matching. New anchor point finding and noise elimination techniques are introduced. We obtained a 73.1\% precision. We also show how the results can be used in the compilation of domain-specific noun phrases.

연구 동기 및 목표

• 문장 정렬에 의존하지 않고 명사와 고유명사를 포함한 이중어 어휘를 편성하기 위한 방법을 개발하는 것.
• 아시아어/인도·계열어 언어 쌍에서 흔히 발생하는 소음이 많고 끊어진 병렬 텍스트 문제를 해결하는 것.
• 표준 사전에 도메인 특화 용어가 포함되어 있지 않은 저자원 환경에서 어휘 편성 정확도를 향상시키는 것.
• 벡터 기반 패턴 매칭을 통해 복합어와 관용어를 탐지할 수 있도록 하는 것.
• 신뢰할 수 있는 앵커 포인트를 생성하여 EM 기반 정렬 방법의 초기화를 강력하게 지원하는 것.

제안 방법

• 매칭을 관련 어휘 유형으로 제한하기 위해 영어 명사와 고유명사를 태깅하는 것.
• 텍스트 내 단어 위치에서 위치 차이 벡터를 구성하여 빈도 및 위치 패턴을 표현하는 것.
• 영어와 중국어 단어 간의 위치 벡터를 매칭하기 위해 동적 시간 왜곡(DTW)을 사용하여 유사도 점수를 산출하는 것.
• DTW 점수에 임계값을 적용하여 높은 신뢰도를 가진 단어 쌍으로 구성된 주 이중어 어휘를 추출하는 것.
• DTW 경로를 재구성하여 보조 정렬을 위한 신뢰할 수 있는 앵커 포인트를 식별하는 것.
• 앵커 포인트에서 이진 위치 벡터를 생성하고 상호정보량을 통해 매칭하여 보조 어휘를 편성하는 것.

실험 결과

연구 질문

• RQ1 소음이 많고 정렬되지 않은 병렬 문장에서 위치 및 빈도 벡터에 대한 패턴 매칭이 효과적으로 이중어 단어 쌍을 식별할 수 있는가?
• RQ2 초기 단어 쌍에서 신뢰할 수 있는 앵커 포인트를 어떻게 추출하여 보조 어휘 편성에 기여할 수 있는가?
• RQ3 이 방법이 표준 토크나이저가 포착하지 못한 복합어와 관용어를 어느 정도 탐지할 수 있는가?
• RQ4 저자원, 소음이 많은 환경에서 기존의 정렬 기반 방법보다 이 방법이 우수한 성능을 보일 수 있는가?
• RQ5 이 방법의 출력 결과가 EM 기반 정렬 알고리즘의 강력한 초기화로 기능할 수 있는가?

주요 결과

• 주 이중어 어휘에서 71.4%의 정밀도를 달성하였으며, 고빈도어의 경우 66.7%였고, 보조 어휘 편성에서는 74.5%의 정밀도를 기록하였다.
• 복합어인 'carbon monoxide'를 단일 중국어 단어로 올바르게 식별하여 잘못된 분할을 방지하였다.
• 'gweilo'와 'Green Paper'와 같은 문화적·지역적 용어를 다자간 복합어로 탐지하여 언어적 뉘앙스를 반영하였다.
• 알고리즘이 'Legislative Council'과 'Hong Kong'이 중국어에서 별개의 번역이 아니라 단일 복합어로 표현됨을 발견하였다.
• 'Cross Harbour Tunnel'이 'Sea Bottom Tunnel'로 잘못 번역되지 않고 단일 용어로 정확히 번역됨을 확인하여 의미 인식 능력을 보였다.
• 문장 정렬이 필요 없었고, 명확한 문장 경계가 없더라도도 신뢰할 수 있는 앵커 포인트를 생성할 수 있었다.