[논문 리뷰] Automatic Alignment of English-Chinese Bilingual Texts of CNS News

Donghua Xu, Chew Lim Tan|ArXiv.org|1996. 08. 27.

Natural Language Processing Techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 중국신문사(CNS)에서 제공하는 영문-중문 이중어 뉴스 기사 간의 자동 정렬을 위한 하이브리드 방법을 제시한다. 문장/절 길이 간의 통계적 상관관계와 수치, 장소 명칭과 같은 어휘적 기준점(lexical anchors)을 조합하여, 고정된 문장 수준의 매칭이 아닌 절 수준의 정렬을 가능하게 함으로써 영어와 중국어 간의 문법적 차이에도 불구하고 정확도를 높이고 더 정교한 이중어 뉴스 코퍼스 정렬을 달성한다.

ABSTRACT

In this paper we address a method to align English-Chinese bilingual news reports from China News Service, combining both lexical and satistical approaches. Because of the sentential structure differences between English and Chinese, matching at the sentence level as in many other works may result in frequent matching of several sentences en masse. In view of this, the current work also attempts to create shorter alignment pairs by permitting finer matching between clauses from both texts if possible. The current method is based on statiscal correlation between sentence or clause length of both texts and at the same time uses obvious anchors such as numbers and place names appearing frequently in the news reports as lexcial cues.

연구 동기 및 목표

• 영어와 중국어 간의 문법적 차이로 인해 정확도가 떨어지는 뉴스 기사 정렬 문제를 해결하기 위해, 구조적 차이가 크더라도 높은 정확도로 정렬할 수 있는 방법을 개발한다.
• 구조적 차이로 인해 여러 문장이 잘못 매칭되는 등의 문제를 겪는 전통적인 문장 수준 정렬의 한계를 극복한다.
• 가능한 한 절 수준의 더 정교한 정렬을 가능하게 하여 정렬 정확도를 향상시킨다.
• 특히 수치와 장소 명칭을 포함한 통계적 및 어휘적 신호를 통합하여 뉴스 기사 쌍 간의 강력한 정렬을 실현한다.

제안 방법

• 해당 방법은 영문 및 중문 기사의 문장 또는 절 길이 간의 통계적 상관관계를 활용하여 초도 매칭 후보를 안내한다.
• 뉴스 기사에 자주 등장하는 수치 및 지리적/장소 명칭과 같은 어휘적 기준점을 도입하여 정렬 신뢰도를 향상시킨다.
• 양 언어의 대응 단위 간 길이 유사도를 측정하여 잠재적 정렬을 평가한다.
• 길이 상관관계와 어휘적 기준점이 문장 수준의 단위보다 더 정교한 매칭을 지원할 경우 절 수준의 정렬을 허용한다.
• 구조적 차이가 감지될 경우 고정된 문장-문장 매칭을 피하고, 다대일 또는 일대다 매칭을 허용한다.
• 최종 정렬는 길이 상관관계와 어휘 일관성 검사를 통합하여 결정되며, 뉴스 보도 관행의 맥락에서 검증된다.

실험 결과

연구 질문

• RQ1 영어와 중국어 간 문장 구조가 크게 다를 경우, 이중어 뉴스 기사의 자동 정렬을 어떻게 향상시킬 수 있는가?
• RQ2 비교적 전통적인 문장 수준의 정렬에 비해 절 수준의 정렬이 이중어 텍스트 정렬 작업에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ3 통계적 길이 상관관계와 어휘적 기준점(예: 수치, 장소 명칭)이 뉴스 코퍼스 내 정확한 정렬을 어떻게 안내하는가?
• RQ4 통계적 및 어휘적 신호를 융합한 하이브리드 방법이 단독으로 사용되는 각각의 접근보다 더 높은 정렬 정확도를 달성할 수 있는가?

주요 결과

• 이 방법은 절 수준의 정렬을 성공적으로 구현하여 영어와 중국어 뉴스 기사 간의 구조적 차이로 인한 오정렬 오류를 감소시켰다.
• 문장 및 절 길이의 통계적 상관관계는 신뢰할 수 있는 初期 매칭 신호를 제공함으로써 정렬 정확도를 크게 향상시켰다.
• 수치 및 장소 명칭과 같은 어휘적 기준점은 이러한 요소가 빈번히 등장하는 뉴스 텍스트에서 강력하고 일관된 정렬 신호로 기능한다.
• 길이 상관관계와 어휘적 신호의 통합은 문장 수준의 매칭만으로는 달성할 수 없는 더 정확하고 정교한 정렬을 가능하게 하였다.
• 복잡한 문법적 차이가 존재하는 중국신문사(CNS)의 이중어 뉴스 기사 정렬에 대해 본 방법은 실현 가능성과 효과성을 입증하였다.