[논문 리뷰] Towards Using Machine Translation Techniques to Induce Multilingual Lexica of Discourse Markers

António M. Lopes, David Martins de Matos외 5명|arXiv (Cornell University)|2015. 03. 31.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 유로파라프 평행 코퍼스를 활용하여 기계 번역 기반 접근법을 제안하며, 다국어 논의 마커의 자동 유도를 위한 방법을 제시한다. 문구 기반 기계 번역 시스템, 정렬 기법 및 정제 기법을 활용하여 영어 논의 마커의 다국어 등가어를 추출하고 필터링함으로써, 이는 이탈리아어에 대해 1,293개의 후보 번역어를 식별하는 데 성공하며, 자연어 처리 및 번역 응용 분야에서 검증된 다국어 논의 마커 사전을 구축할 수 있음을 입증한다.

ABSTRACT

Discourse markers are universal linguistic events subject to language variation. Although an extensive literature has already reported language specific traits of these events, little has been said on their cross-language behavior and on building an inventory of multilingual lexica of discourse markers. This work describes new methods and approaches for the description, classification, and annotation of discourse markers in the specific domain of the Europarl corpus. The study of discourse markers in the context of translation is crucial due to the idiomatic nature of these structures. Multilingual lexica together with the functional analysis of such structures are useful tools for the hard task of translating discourse markers into possible equivalents from one language to another. Using Daniel Marcu's validated discourse markers for English, extracted from the Brown Corpus, our purpose is to build multilingual lexica of discourse markers for other languages, based on machine translation techniques. The major assumption in this study is that the usage of a discourse marker is independent of the language, i.e., the rhetorical function of a discourse marker in a sentence in one language is equivalent to the rhetorical function of the same discourse marker in another language.

연구 동기 및 목표

• 기계 번역 기법을 활용하여 다국어 논의 마커 사전을 자동으로 유도하는 방법을 개발하는 것.
• 유럽 언어 간 체계적인 다국어 논의 마커 자원의 부족을 해결하는 것.
• 추출된 마커를 알려진 논의 마커 기능과 전문 번역 관행과 비교하여 접근법의 타당성을 검증하는 것.
• 다양한 언어 레지스터에서의 사용(대화적 vs. 텍스트 기반)에 따라 논의 마커를 분류하는 것.
• 다국어 환경에서 논의 마커의 래티컬 분석을 위한 기반을 마련하는 것.

제안 방법

• 논의 마커 추출을 위한 双어 학습 자원으로 21개의 유럽어를 포함한 유로파라프 평행 코퍼스를 사용한다.
• 문구 기반 기계 번역이 적용되며, 모세 디코더와 GIZA++를 사용하여 언어 쌍 간의 단어 및 문구 정렬을 수행한다.
• SGML 태그 제거, 문장 토큰화, 소문자 변환을 포함한 사전 처리 파이프라인을 통해 입력을 표준화한다.
• 정렬된 평행 문장에서 문구 테이블을 구성하고, SALM 및 [10]의 알고리즘을 사용하여 노이즈를 줄이고 높은 신뢰도의 번역어만 유지함으로써 정제한다.
• 영어의 대상 마커를 검색하고, 문장 내에서 문장 부호로 이어지거나 뒤따라 오는 경우를 대상으로 하여, 문구 테이블 항목을 활용해 후보 논의 마커를 추출한다.
• 언어학적 히우리스틱과 확률적 점수(예: φ(f|e), lex(f|e))를 적용하는 필터링 파이프라인을 통해 비현실적인 번역어를 제거하고 고품질 후보어만 유지한다.

실험 결과

연구 질문

• RQ1 문구 기반 기계 번역 시스템은 평행 코퍼스에서 논의 마커의 다국어 등가어를 신뢰성 있게 추출할 수 있는가?
• RQ2 공식적인 의회 텍스트에서의 논의 마커 분포 및 사용 패턴은 즉각적인 대화에서의 것과 어떻게 비교되는가?
• RQ3 자동으로 유도된 사전이 다양한 언어에서 알려진 래티컬 기능을 얼마나 잘 반영하는가?
• RQ4 코퍼스 레지스터(예: 공식적 vs. 대화적)가 유도된 논의 마커 번역의 커버리지 및 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 전문 번역 및 해설 관행과 일치하는 사전을 생성할 수 있는가?

주요 결과

• 정제 후 문구 테이블에서 포르투갈어에 대해 846개, 프랑스어에 대해 861개, 독일어에 대해 906개, 이탈리아어에 대해 1,293개의 후보 번역어를 성공적으로 추출하였다.
• 약 70개의 논의 마커 중에서 즉각적인 대화 코퍼스(강의 및 대화)에서 유로파라프 기반 사전에 일치하는 영어 번역어가 존재한 것은 18개에 불과하여, 비공식 레지스터에서의 커버리지가 제한적임을 시사한다.
• 유로파라프 코퍼스에서 7개의 논의 마커가 대화적 및 텍스트 기반 양면으로 분류되었고, 나머지는 전적으로 대화적임을 확인하여, 레지스터에 따라 분포가 달라짐을 확인하였다.
• 결과적으로 공식적인 의회 텍스트는 즉각적인 대화보다 대화적 마커가 적게 포함되어 있음을 확인하였으며, 이는 구어 코퍼스와의 낮은 겹침을 설명한다.
• 정제 과정을 통해 노이즈가 크게 감소하였으며, 포르투갈어, 프랑스어, 독일어, 이탈리아어의 문구 테이블에서 각각 27개, 40개, 43개, 46개의 항목이 제거되었다.
• 이 방법은 알려진 래티컬 기능을 반영하는 다국어 논의 마커 사전을 생성할 수 있음을 입증하였으며, 이는 다국어적 분석 및 번역 지원에 기여한다.