[논문 리뷰] Learning to Discriminate Noises for Incorporating External Information in Neural Machine Translation

Zaixiang Zheng, Shujian Huang외 4명|arXiv (Cornell University)|2018. 10. 24.

Natural Language Processing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고, 외부 정보(예: SMT 출력, 사전, 인간 수정 사항 등) 내의 전반적이고 국소적인 노이즈를 동시에 식별함으로써 신경 기계 번역(NMT)을 향상시키기 위한 노이즈 구분 프레임워크를 제안한다. 병렬 코퍼스에서 생성한 합성 데이터로 훈련된 모델은 디코딩 중에 관련성이 없는 단어를 걸러내어 특히 높은 노이즈 조건에서 번역 품질을 크게 향상시킨다.

ABSTRACT

Previous studies show that incorporating external information could improve the translation quality of Neural Machine Translation (NMT) systems. However, there are inevitably noises in the external information, severely reducing the benefit that the existing methods could receive from the incorporation. To tackle the problem, this study pays special attention to the discrimination of the noises during the incorporation. We argue that there exist two kinds of noise in this external information, i.e. global noise and local noise, which affect the translations for the whole sentence and for some specific words, respectively. Accordingly, we propose a general framework that learns to jointly discriminate both the global and local noises, so that the external information could be better leveraged. Our model is trained on the dataset derived from the original parallel corpus without any external labeled data or annotation. Experimental results in various real-world scenarios, language pairs, and neural architectures indicate that discriminating noises contributes to significant improvements in translation quality by being able to better incorporate the external information, even in very noisy conditions.

연구 동기 및 목표

• 외부 정보의 노이즈로 인해 NMT에서 이러한 데이터를 통합하는 데서 유의미한 이점이 저하되는 문제를 해결하기 위해.
• 전체 문장에 대해 관련성이 없는 전반적 노이즈와 특정 번역 단계에서 관련성이 없는 국소적 노이즈라는 두 가지 다른 노이즈 유형을 식별하기 위해.
• 외부 레이블이나 작업별 특화 튜닝 없이도 두 노이즈 유형을 구분할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 노이즈 구분이 다양한 실제 시나리오와 언어 쌍에서 일관된 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 프레임워크는 문장 전체에 대한 관련성을 평가하는 전반적 단어 구분자와 각 디코딩 단계에서의 관련성을 평가하는 국소적 단어 구분자를 별도로 활용한다.
• 외부 정보는 SMT 출력, 이중어 사전, 인간 수정 사항 등 다양한 원천을 일반화하여 단어 집합(외부 단어)으로 표현한다.
• 모델은 병렬 문장에서 단어를 샘플링하여 생성한 합성 데이터로 훈련되며, 인간이 레이블링한 노이즈 데이터가 필요하지 않다.
• 훈련 과정에서는 원본 병렬 코퍼스를 사용하여 실제적인 외부 단어 집합을 노이즈가 섞인 형태로 생성함으로써 자기지도 학습을 가능하게 한다.
• 추론 단계에서는 구분자가 노이즈가 섞인 단어를 걸러내어 NMT 디코더의 어텐션 또는 출력 생성에 영향을 주지 않도록 한다.
• 재훈련이나 적응 없이도 다양한 신경망 아키텍처와 실제 외부 데이터 소스에 동일하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 외부 정보 내의 전반적 및 국소적 노이즈가 NMT 번역 품질에 어떤 영향을 미치는가?
• RQ2 외부 레이블에 의존하지 않고도 통합된 프레임워크가 전반적 및 국소적 노이즈를 효과적으로 구분할 수 있는가?
• RQ3 노이즈 구분이 특히 높은 노이즈 조건에서 측정 가능한 번역 성능 향상으로 이어지는가?
• RQ4 합성 데이터로 훈련된 모델이 작업별 특화 미세조정 없이 다양한 외부 정보 소스에 일반화 가능한가?

주요 결과

• 외부 정보 내의 노이즈는 NMT 시스템에서 이러한 데이터를 통합함으로써 얻는 성능 향상 효과를 심각하게 저해한다.
• 제안된 노이즈 구분 프레임워크는 SMT 시나리오에서 BLEU 점수 35.71을 기록하여 베이스라인(33.28)을 능가했으며, 노이즈가 많은 조건에서 가장 큰 향상을 보였다.
• Lex 시나리오에서는 베이스라인 32.57에서 34.10 BLEU로 향상되어 단어 수준 번역 테이블이 있는 상황에서도 효과적임을 입증했다.
• 재훈련이나 튜닝 없이도 SMT, 어휘 테이블, 사전, 단어 집합 예측 등 네 가지 실제 시나리오에 대해 잘 일반화됨을 보였다.
• 사례 연구 결과, 최소한의 인간 수정만으로도 외부 단어 입력을 활용해 NMT 오류를 성공적으로 수정하는 등(예: "working"을 "moving"으로 교체), 모델이 효과적으로 기능함을 확인했다.
• 다양한 신경망 아키텍처와 언어 쌍에서도 강력한 성능 유지를 보이며, 프레임워크의 강건성과 이식 가능성(전이 가능성)을 확인했다.