[논문 리뷰] Filling Gender & Number Gaps in Neural Machine Translation with Black-box Context Injection

Amit Moryossef, Roee Aharoni외 1명|arXiv (Cornell University)|2019. 03. 08.

Natural Language Processing Techniques참고 문헌 13인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 신경 기계 번역(NMT) 시스템에 성별과 수를 포함시키기 위해 원천 문장에 문맥적으로 명확한 힌트(예: '그녀가 말했다:')를 첨부하는 블랙박스 방법을 제안한다. 올바른 성별과 수 정보를 삽입할 경우, 모델나 훈련 데이터를 수정하지 않고도 영어- hebrew 번역 작업에서 번역 정확도가 최대 2.3 BLEU 향상된다.

ABSTRACT

When translating from a language that does not morphologically mark information such as gender and number into a language that does, translation systems must "guess" this missing information, often leading to incorrect translations in the given context. We propose a black-box approach for injecting the missing information to a pre-trained neural machine translation system, allowing to control the morphological variations in the generated translations without changing the underlying model or training data. We evaluate our method on an English to Hebrew translation task, and show that it is effective in injecting the gender and number information and that supplying the correct information improves the translation accuracy in up to 2.3 BLEU on a female-speaker test set for a state-of-the-art online black-box system. Finally, we perform a fine-grained syntactic analysis of the generated translations that shows the effectiveness of our method.

연구 동기 및 목표

• 성별과 수가 중립적인 원천 언어에서 성격이 뚜렷한 목표 언어로 번역할 때 발생하는 형태적 모호성을 해결하기 위해.
• 기본 NMT 모델이나 훈련 데이터를 수정하지 않고도 생성된 번역문에서 성별과 수 표기를 제어할 수 있도록 하기 위해.
• 문장 내 공호성 사슬을 활용하여 화자와 청자 성격을 삽입하는 단순하고 후처리와 호환되는 방법을 개발하기 위해.
• 히브리어, 스페인어, 프랑스어, 러시아어 등 성격이 형태적으로 표시되는 다양한 언어 조합에서 메서드의 효과를 평가하기 위해.

제안 방법

• 화자와 청자의 성별과 수를 명확히 알리는 사전 정의된 텍스트 힌트(예: '그녀가 말했다:')를 입력 문장에 삽입하여 성별과 수 정보를 명시적으로 전달한다.
• 문장 내 공호성 사슬(예: '나는 너를 사랑해, 그녀가 그에게 말했다')을 활용하여 모호하지 않은 전후 관계를 만들고, 이에 따라 형태적 결정을 유도한다.
• 추론 이전의 전처리 단계에서 메서드를 적용하고, 번역 후에 삽입된 힌트를 제거하여 깔끔한 출력을 유지한다.
• 모델의 내재된 능력에 의존하여, 이러한 신호에 대해 명시적인 훈련 없이도 공호성과 형태적 일치를 추적할 수 있다.
• 모델 내부, 파라미터, 재훈련에 대한 액세스 없이도 작동하는 블랙박스 방식이다.
• 모든 사전 훈련된 NMT 시스템, 특히 Google 번역과 같은 상용 API와도 호환되는 워핑 방식을 사용한다.

실험 결과

연구 질문

• RQ1 블랙박스 방법이 사전 훈련된 NMT 시스템에 성별과 수 정보를 효과적으로 삽입하여 형태적 출력을 제어할 수 있는가?
• RQ2 문맥적으로 명확한 힌트를 삽입하면 성별과 수가 모호한 경우의 번역 정확도가 향상되는가?
• RQ3 다양한 형태적 표기 체계를 가진 다양한 언어 조합에 대해 이 방법이 얼마나 일반화되는가?
• RQ4 특히 대명사, 동사, 형용사의 일치에서 이 방법은 문법 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 Google 번역과 같이 비공개 소스 번역 시스템에도 적용 가능한가?

주요 결과

• 올바른 성별과 수 정보를 삽입할 경우, 영어-히브리어 번역 테스트 세트에서 메서드가 최대 2.3 BLEU 포인트 향상시킨다.
• Google 번역을 사용할 때 여성 화자 테스트 세트에서 BLEU 점수가 39.95에 도달하여 기준 모델과 이전 최고 성능 모델을 모두 능가한다.
• 히브리어, 스페인어, 프랑스어, 러시아어 등 여러 언어에서 제1인자 및 제2인자 대명사, 동사, 형용사의 형태적 일치를 성공적으로 제어한다.
• 세부적인 문법 분석을 통해 삽입된 문맥 정보가 모델이 정확한 형태적 형태를 생성하도록 효과적으로 이끌고 있음을 확인한다.
• 시험한 10개 언어 중 6개 언어에서 일반화되었으며, 60%의 경우 성별 표기가 정확히 유지되었고, 30%는 남성성으로, 10%는 여성성으로 기본 설정되었다.
• 이 방법은 Google 번역과 같은 상용 비공개 NMT 시스템에도 효과적으로 적용되며, 강력한 블랙박스 호환성을 입증한다.