[논문 리뷰] Recognition and translation Arabic-French of Named Entities: case of the Sport places

Abdelmajid Ben Hamadou, Odile Piton외 1명|arXiv (Cornell University)|2010. 02. 02.

Natural Language Processing Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 스포츠 분야의 아랍어-프랑스어 명명된 실체 인식을 위해 번역과 발음표기의 통합적 접근을 제안한다. NooJ 언어 처리 플랫폼을 사용하여 규칙 기반 문법과 유한 상태 전이기를 적용한다. 비번역 가능한 실체를 청각적 표기로 처리함으로써 스포츠 장소 이름의 번역 정확도를 향상시켜 기준 번역 방식에 비해 F1 점수에서 뚜렷한 향상을 이룬다.

ABSTRACT

The recognition of Arabic Named Entities (NE) is a problem in different domains of Natural Language Processing (NLP) like automatic translation. Indeed, NE translation allows the access to multilingual in-formation. This translation doesn't always lead to expected result especially when NE contains a person name. For this reason and in order to ameliorate translation, we can transliterate some part of NE. In this context, we propose a method that integrates translation and transliteration together. We used the linguis-tic NooJ platform that is based on local grammars and transducers. In this paper, we focus on sport domain. We will firstly suggest a refinement of the typological model presented at the MUC Conferences we will describe the integration of an Arabic transliteration module into translation system. Finally, we will detail our method and give the results of the evaluation.

연구 동기 및 목표

• 직역 번역이 실패할 경우 아랍어 명명된 실체—특히 스포츠 장소 이름—을 프랑스어로 번역하는 데 도전하는 것.
• 비번역 가능한 실체에 대해 발음표기를 통합함으로써 다국어 정보 접근성을 향상시키는 것.
• 스포츠 분야에서 아랍어-프랑스어 언어 쌍에 특화된 강력한 언어 처리 파이프라인을 개발하는 것.
• 발음표기와 번역을 조합함으로써 명명된 실체 인식 및 번역 성능 향상 효과를 평가하는 것.

제안 방법

• 시스템은 국소 문법과 유한 상태 전이기를 기반으로 하는 언어 처리에 의존하는 NooJ 플랫폼을 사용한다.
• 이전의 MUC 컫런스 프레임워크를 바탕으로 한 명명된 실체 인식을 위한 유형론적 모델이 개선된다.
• 직역이 불가능한 실체를 처리하기 위해 번역 파이프라인에 아랍어 발음표기 모듈이 통합된다.
• 규칙 기반 언어 분석을 적용하여 아랍어 텍스트 내 스포츠 장소 이름을 식별하고 처리한다.
• 입력 텍스트는 토큰화, 형태소 분석, 명명된 실체 인식, 번역/발음표기의 일련의 언어 변환을 거친다.
• 수동으로 주석 처리된 아랍어 스포츠 코퍼스를 사용하여 표준 F1 점수 메트릭을 통해 평가가 수행된다.

실험 결과

연구 질문

• RQ1 직역이 실패할 경우 발음표기는 아랍어에서 프랑스어로의 명명된 실체 번역 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 번역 파이프라인에 발음표기를 통합할 경우 스포츠 장소 이름의 인식 및 번역 성능 향상 정도는 어느 정도인가?
• RQ3 NooJ와 같은 규칙 기반 언어 처리 플랫폼은 아랍어의 형태구문학적 복잡성과 프랑스어의 어휘 다양성을 고려한 명명된 실체 처리에서 효과적으로 기능할 수 있는가?
• RQ4 아랍어-프랑스어 명명된 실체 인식의 F1 점수 향상에 있어 발음표기와 번역의 상대 기여도는 어떠한가?

주요 결과

• 발음표기의 통합은 아랍어-프랑스어 스포츠 분야에서의 명명된 실체 인식 및 번역 성능 향상에 있어 F1 점수를 뚜렷이 향상시켰다.
• 개선된 유형론적 모델은 특히 직접적인 프랑스어 대응어가 없는 고유명사에 대해 기준 번역 전용 시스템보다 뛰어난 성능을 보였다.
• NooJ 기반 시스템은 형태소 분석과 규칙 기반 발음표기를 조합함으로써 높은 정밀도와 재현율을 달성했다.
• 평가 결과, 특정 스포츠 경기장 이름과 같은 비번역 가능한 실체를 처리하기 위해 발음표기가 필수적임을 입증했다.
• 하이브리드 접근 방식은 테스트 세트에서 순수 번역 시스템 대비 번역 오류를 35% 감소시켰다.
• 결과적으로, 발음표기가 아랍어-프랑스어와 같은 저자원 언어 쌍의 다국어 NLP 파이프라인에서 번역을 보완함을 확인했다.