[논문 리뷰] An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information

Akshar Bharati, V Sriram외 3명|ArXiv.org|2003. 02. 12.

Natural Language Processing Techniques참고 문헌 6인용 수 6

한 줄 요약

이 논문은 문장 길이 기반 통계적 방법에 의존하지 않고 어휘 정보와 히우리스틱을 활용하여 이중어 어휘자료의 문장 정렬을 위한 언어 독립적 알고리즘을 제시한다. 길이 기반 방법이 실패하는 경우 정렬 정확도를 향상시키며, 번역 추가 및 삭제를 탐지할 수 있어 다양한 언어 조합에서 경쟁적인 성능을 달성한다.

ABSTRACT

In this paper we describe an algorithm for aligning sentences with their translations in a bilingual corpus using lexical information of the languages. Existing efficient algorithms ignore word identities and consider only the sentence lengths (Brown, 1991; Gale and Church, 1993). For a sentence in the source language text, the proposed algorithm picks the most likely translation from the target language text using lexical information and certain heuristics. It does not do statistical analysis using sentence lengths. The algorithm is language independent. It also aids in detecting addition and deletion of text in translations. The algorithm gives comparable results with the existing algorithms in most of the cases while it does better in cases where statistical algorithms do not give good results.

연구 동기 및 목표

• 문장 길이 통계 분석에 의존하지 않고 어휘 정보를 활용하는 언어 독립적 문장 정렬 방법을 개발하는 것.
• 통계적 길이 기반 알고리즘이 성능이 떨어지는 경우 정렬 정확도를 향상시키는 것.
• 정렬 과정에서 번역 추가 및 삭제를 탐지하는 것.
• 문장 길이의 통계 분석이 필요 없는 강력한 히우리스틱 기반 접근법을 제공하는 것.
• 기존 알고리즘과 비교해 경쟁적인 성능을 달성하면서도 변칙 케이스에서 더 나은 결과를 내는 것.

제안 방법

• 알고리즘은 어휘 유사도와 사전 정의된 히우리스틱을 기반으로 각 소스 문장에 대해 가장 가능성 있는 번역을 선택한다.
• 소스어 및 목표어 언어의 단어 수준 어휘 정보를 사용하여 정렬 점수를 계산한다.
• 여러 목표 문장이 유사한 어휘 매칭을 보일 경우의 모호성을 해결하기 위해 히우리스틱을 적용한다.
• 문장 길이의 통계 모델링을 피함으로써 Brown (1991) 및 Gale과 Church (1993)와 같은 이전 접근법과 구분된다.
• 알고리즘은 어휘 일관성과 맥락적 단서를 사용하여 반복적으로 정렬을 개선한다.
• 번역 과정에서의 텍스트 추가 및 삭제를 탐지하고 경고하는 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 문장 길이 통계 분석에 의존하지 않고 이중어 어휘자료의 문장 정렬을 어떻게 향상시킬 수 있는가?
• RQ2 길이 기반 방법과 비교해 어휘 정보가 정렬 정확도에 어떻게 기여하는가?
• RQ3 언어 독립적 정렬 알고리즘이 효과적으로 번역 추가 및 삭제를 탐지할 수 있는가?
• RQ4 통계 기반 정렬 알고리즘이 실패하는 경우 제안된 방법의 성능은 어떠한가?
• RQ5 정렬 과정에서 어휘 매칭의 모호성을 해결하는 데 히우리스틱이 어떤 역할을 하는가?

주요 결과

• 기존의 통계적 방법과 비교해 대부분의 표준 케이스에서 유사한 정렬 성능을 달성한다.
• 비대칭적인 문장 구조나 다름 있는 번역 스타일을 포함한 케이스에서 길이 기반 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 번역 추가 및 삭제를 성공적으로 탐지하여 순수하게 통계 기반 접근법에 비해 핵심적인 이점을 제공한다.
• 어휘 정보의 활용으로 자원이 적거나 형태학적으로 복잡한 언어 조합에서도 더 나은 정렬이 가능해진다.
• 언어 독립적 설계 덕분에 다양한 언어 조합에서 뛰어난 견고성을 보여준다.
• 2002년 국제 자연어 처리 학회에서의 실증 결과는 특히 도전적인 정렬 케이스에서 뛰어난 성능을 보였다.