[논문 리뷰] Pronoun Translation in English-French Machine Translation: An Analysis of Error Types

Christian Hardmeier, Liane Guillou|arXiv (Cornell University)|2018. 08. 30.

Natural Language Processing Techniques참고 문헌 17인용 수 6

한 줄 요약

이 연구는 PROTEST 테스트 세트를 사용하여 룰 기반, 통계적 기계 번역 및 신경 기계 번역 시스템에서 영어-프랑스어 번역의 대명사에 대해 평가한다. 최근의 트랜스포머 기반 NMT 모델은 문장 내 역참조 및 비역참조 대명사에서 성능 향상을 보였지만, 모든 시스템은 문장 간 의존성, 성/수 협동, 기능적 차이에 대해 어려움을 겪고 있으며, 이는 대명사의 기능과 지칭 성질을 모델링하는 데 지속적인 과제를 드러낸다.

ABSTRACT

Pronouns are a long-standing challenge in machine translation. We present a study of the performance of a range of rule-based, statistical and neural MT systems on pronoun translation based on an extensive manual evaluation using the PROTEST test suite, which enables a fine-grained analysis of different pronoun types and sheds light on the difficulties of the task. We find that the rule-based approaches in our corpus perform poorly as a result of oversimplification, whereas SMT and early NMT systems exhibit significant shortcomings due to a lack of awareness of the functional and referential properties of pronouns. A recent Transformer-based NMT system with cross-sentence context shows very promising results on non-anaphoric pronouns and intra-sentential anaphora, but there is still considerable room for improvement in examples with cross-sentence dependencies.

연구 동기 및 목표

• 다양한 기계 번역 아키텍처 간 대명사 번역에서 지속적인 과제를 조사하기 위해.
• 세부 테스트 세트를 사용하여 룰 기반, SMT, NMT 시스템의 대명사 유형에 대한 성능을 평가하기 위해.
• 대명사 기능, 성, 수, 지칭 성질과 관련된 체계적 오류 패턴을 특정하기 위해.
• 수동 평가 결과를 비교하고 대명사 번역 평가의 신뢰성 평가하기 위해.
• 대명사 번역에서 기능적 및 지칭 인식을 향상시켜 기계 번역 시스템을 개선하기 위한 제안을 하기 위해.

제안 방법

• 대명사의 기능(역참조, 사건 지칭, 과잉 지칭, 청자 지칭)과 언어적 특성에 따라 분류된 PROTEST 테스트 세트를 사용하여 9개의 영어-프랑스어 기계 번역 시스템의 수동 평가를 수행함.
• 룰 기반, 어절 기반 SMT, 트랜스포머 기반 NMT 시스템을 포함하며, 문맥 모델링 및 룰 기반 후처리가 적용된 시스템 포함.
• 시스템 출력 결과를 인간이 애너테이션한 기준값과 비교하여 오류 유형과 빈도 분포를 특정함.
• 인간 평가자의 판단을 메타 평가하여 평가자 간 일致도와 평가 신뢰성 평가함.
• 오류 원인 분석을 통해 생략, 잘못된 성/수 협동, 개인 대명사와 지시 대명사의 혼동을 포함함.
• TED 강연 원문과 그 번역에서 유래한 균형 잡힌 수동 애너테이션 테스트 세트를 사용하며, 명확한 전행 링크와 기능적 특성을 포함함.

실험 결과

연구 질문

• RQ1 룰 기반, SMT, NMT 시스템은 영어-프랑스어 기계 번역에서 다양한 대명사 유형에 대해 어떻게 성능을 다르게 보이는가?
• RQ2 대명사 번역에서 지배적인 오류 유형은 무엇이며, 이는 대명사 기능과 문법적 위치에 따라 어떻게 달라지는가?
• RQ3 최근 트랜스포머 기반 NMT 시스템은 이전의 SMT 및 룰 기반 접근 방식에 비해 대명사 번역에서 얼마나 향상되었는가?
• RQ4 문맥 모델링 기법은 대명사 번역에서 문장 간 역참조를 다루는 데 얼마나 효과적인가?
• RQ5 왜 대명사 번역의 수동 평가에서는 상당한 불일치가 발생하며, 이는 평가 방법론에 어떤 함의를 갖는가?

주요 결과

• 룰 기반 시스템은 과도한 단순화로 인해 성능이 열 劣하며, 특히 'ça' 또는 'cela'와 같은 지시 대명사를 올바르게 생성하는 데 어려움을 겪는다.
• SMT 및 초기 NMT 시스템은 대명사 기능과 지칭 성질을 충분히 모델링하지 못해 심각한 한계를 보인다.
• 트랜스포머 기반 NMT 시스템은 비역참조 대명사와 문장 내 역참조에서 뛰어난 성능을 보였지만, 여전히 문장 간 의존성에 대해 성능이 열 劣하다.
• 비주어 대명사의 지배적인 오류 유형은 목표 언어에서의 생략이며, 이는 신뢰할 수 없는 단어 정렬과 프랑스어에서 정관사와의 동음이의성 때문일 가능성이 높다.
• 개인 대명사와 지시 대명사의 혼동은 주요 오류 원인으로 작용하며, 특히 목표 언어의 대명사 형태를 완전히 커버하지 못하는 룰 기반 시스템에서 두드러진다.
• 문맥 모델링에도 불구하고, Yandex NMT 시스템은 이전 시스템을 일관되게 능가하지 못하며, 이는 단지 문맥만으로 복잡한 역참조를 해결하는 데는 부족하다는 것을 시사한다.