[논문 리뷰] Winograd Schemas and Machine Translation

Ernest Davis|arXiv (Cornell University)|2016. 08. 05.

AI in Service Interactions참고 문헌 3인용 수 4

한 줄 요약

이 논문은 기계 번역 시스템이 공통된 지식 추론을 통해 대명사 참조를 해결해야 하는 문장 쌍인 윈포르드 스키마를 사용하여 엄격한 도전 과제로 활용할 것을 제안한다. 프랑스어, 스페인어, 독일어와 같은 목표 언어에서 성별에 따라 다를 수 있는 대명사 구분을 활용함으로써, 번역 시스템이 깊이 있는 세계 지식을 통해 모호한 대명사를 해결할 수 있는지 테스트한다. 이 방법은 이러한 스키마의 정확한 번역이 현재의 시스템이 자주 이를 해결하지 못하는 기초적인 윈포르드 스키마 문제를 해결해야 한다는 것을 보여주며, 이는 기계 번역의 정확성에 필수적임을 입증한다.

ABSTRACT

A Winograd schema is a pair of sentences that differ in a single word and that contain an ambiguous pronoun whose referent is different in the two sentences and requires the use of commonsense knowledge or world knowledge to disambiguate. This paper discusses how Winograd schemas and other sentence pairs could be used as challenges for machine translation using distinctions between pronouns, such as gender, that appear in the target language but not in the source.

연구 동기 및 목표

• 기계 번역 시스템이 원천 언어에서 성중립적 대명사(예: 'they')를 사용할 때 목표 언어의 성별에 따라 다른 대명사를 정확히 처리할 수 있는지 평가하는 것.
• 표면 수준의 패tern 매칭이 아닌 공통된 지식 추론이 필요한, 대명사 모호성에 기반한 번역 과제의 유형을 특정하는 것.
• 성표시 언어에서 정확한 번역을 위해서는 윈포르드 스키마 문제를 해결하는 것이 필수 조건임을 보여주는 것.
• 심층적인 의미적 지식과 세계 지식이 필요로 하는 윈포르드 스타일 문장 쌍을 구성함으로써 기존 번역 시스템의 한계를 드러내는 것.

제안 방법

• 영어에서 'they'라는 모호한 대명사가 남성 그룹 또는 여성 그룹을 가리키는 윈포르드 스키마를 구성하여, 라틴어계나 Semitic 언어에서 성별에 따라 다른 번역이 요구되는 경우를 대비한다.
• 목표 언어에서의 대명사 성별(예: 프랑스어 'ils' 대비 'elles')을 사용하여 시스템이 대명사를 정확히 해결했는지 진단하는 데 활용한다.
• 기존의 윈포르드 스키마를 변형하여, 두 문장 간의 참조 대상 성별이 다를 수 있도록 번역 과제로 전환한다.
• 참조 대상의 성별이 명시적으로 기재되지 않은 채, 맥락적 지식과 공통된 지식을 통해 유추되어야 하는 테스트 케이스를 생성한다.
• 윈포르드 스키마 챌린지 프레임워크를 사용하여 번역 시스템이 추론을 통해 대명사를 정확히 해결함으로써 시험에 통과할 수 있는지 평가한다.
• 대명사 생략 또는 일반적으로 남성형 형태를 사용할 경우 문법적으로나 의미적으로 잘못된 결과가 나오는 문장 쌍을 번역 시스템에 테스트한다.

실험 결과

연구 질문

• RQ1 원천 언어에서 'they'와 같은 중립적 대명사를 사용할 때, 기계 번역 시스템이 목표 언어에서 성별에 따라 다른 대명사를 정확히 해결할 수 있는가?
• RQ2 윈포르드 스키마 문제 해결 능력이 프랑스어, 스페인어, 독일어와 같은 언어에서 성별에 따라 다른 대명사의 정확한 번역 능력과 얼마나 관련이 있는가?
• RQ3 윈포르드 스키마를 체계적으로 기계 번역 시스템의 이해 깊이를 진단하는 테스트로 재활용할 수 있는가?
• RQ4 현재의 번역 시스템은 성과 참조 대상 정체성에 대한 추론이 필요한 윈포르드 스타일 문장 쌍에서 어떻게 성능을 보이는가?
• RQ5 공통된 지식 추론이 필요한 대명사 성별 모호성에 직면했을 때 번역 시스템의 실패 유형은 무엇인가?

주요 결과

• 144개의 윈포르드 스키마 중 33개는 라틴어계 언어에서 성별에 따라 다른 대명사를 다루는 도전적인 번역 과제로 직접 변환 가능하며, 이 경우 정확한 번역은 스키마 해결에 의존한다.
• 구글 번역과 같은 현재의 번역 시스템은 'Marie is my friend'를 프랑스어로 'Marie est mon ami'로 잘못 번역하여 남성형을 사용함으로써 핵심 사례에서 실패한다.
• 성별 단서가 대명사와 바로 인접하지 않은 경우 시스템이 자주 실패함으로써, 장거리 의존성에 대한 강건한 추론 능력이 부족하다는 것을 보여준다.
• 간단한 표현인 'my friend Pierre'나 'she is my friend'를 정확히 번역할 수는 있지만, 간접적 참조나 서사적 추론을 포함한 더 복잡한 문장에서는 실패한다.
• 목표 언어에서 혼성 또는 성별이 알려지지 않은 집단에 대해 남성형 대명사를 사용하는 것은 정확한 대명사 해결이 가능해야만 통과 가능한 체계적인 과제이다.
• 논문은 번역 시에 대명사를 생략하는 것이 일반적인 대체 조치이지만, 복잡한 윈포르드 스키마 쌍에서는 일반적으로 부적절한 대체 조치로 기능하며, 자연스럽지 않은 번역 결과를 낳는다는 것을 입증한다.