[논문 리뷰] Neural Name Translation Improves Neural Machine Translation

Xiaoqing Li, Jiajun Zhang외 1명|arXiv (Cornell University)|2016. 07. 07.

Natural Language Processing Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT) 시스템의 성능을 향상시키기 위해 명칭 엔터티(NE) 번역을 위한 문자 수준의 시퀀스-투-시퀀스 신경망을 제안한다. 외부 NE 목록을 기반으로 NE 번역기를 훈련시켜 双어병렬 데이터에서 고품질의 NE 대응 관계를 유도함으로써 훈련 데이터의 품질을 향상시키고 NMT 성능을 향상시킨다. 중국어-영어 번역에서 기준 모델 대비 2.9 BLEU 점수 향상을 달성한다.

ABSTRACT

In order to control computational complexity, neural machine translation (NMT) systems convert all rare words outside the vocabulary into a single unk symbol. Previous solution (Luong et al., 2015) resorts to use multiple numbered unks to learn the correspondence between source and target rare words. However, testing words unseen in the training corpus cannot be handled by this method. And it also suffers from the noisy word alignment. In this paper, we focus on a major type of rare words -- named entity (NE), and propose to translate them with character level sequence to sequence model. The NE translation model is further used to derive high quality NE alignment in the bilingual training corpus. With the integration of NE translation and alignment modules, our NMT system is able to surpass the baseline system by 2.9 BLEU points on the Chinese to English task.

연구 동기 및 목표

• 희귀어, 특히 명칭 엔터티(NE) 처리에 한계를 보이는 NMT 시스템의 문제를 해결한다. 이러한 경우 일반적으로 'unk' 토큰 하나로 대체된다.
• 이전 방법들이 흐린 단어 대응 및 사전 검색에 의존하는 데서 비롯되는 단점을 극복한다.
• 신경 NE 번역 모델을 활용해 고정밀도 NE 대응 관계를 생성함으로써 NMT 훈련을 위한 데이터 품질을 향상시킨다.
• NE 번역 및 대응 관계 모듈을 NMT 파이프라인에 통합하여 전체 번역 성능을 향상시킨다.
• 문자 수준의 모델링과 외부 NE 자원을 활용해 예측되지 않은 희귀어의 효과적인 번역을 가능하게 한다.

제안 방법

• 외부 NE 목록을 사용해 소스 언어에서 대상 언어로의 명칭 엔터티를 번역하기 위한 문자 수준의 시퀀스-투-시퀀스 모델을 어텐션 기반으로 훈련시킨다.
• 훈련된 NE 번역기와 명칭 엔터티 인식기(NE recognizer)를 활용해 이중어 병렬 문장집합 내에서 NE 쌍을 식별하고 대응시킨다.
• 훈련 데이터 내에서 대응된 NE들을 유형 기호(예: LOC1, LOC2)로 대체하여 NMT 모델을 위한 개선된 훈련 세트를 구성한다.
• 어텐션 기반 인코더-디코더 아키텍처를 사용해 기호 대체 병렬 문장들에 기반해 표준 NMT 모델을 훈련시킨다.
• 추론 단계에서는 입력에서 NE를 인식하고, 이를 유형 기호로 대체한 후 NMT 모델을 통해 번역한 후, NE 번역기로 예측된 NE 번역 결과를 치환한다.
• 기존의 NE를 위한 어휘 테이블을 적용하고, 알려지지 않은 경우 신경 NE 모델로 후행 처리하여 정확도를 향상시키는 후처리 단계를 적용한다.

실험 결과

연구 질문

• RQ1 문자 수준의 신경 시퀀스-투-시퀀스 모델은 자원이 적고 희귀어가 많은 상황에서 명칭 엔터티 번역을 어떻게 향상시킬 수 있는가?
• RQ2 신경 NE 번역기에서 파생된 고품질의 NE 대응 관계는 NMT 훈련 데이터 품질에 어떤 영향을 미치는가?
• RQ3 NE 번역 및 대응 관계 모듈을 통합함으로써 저자원 언어 쌍에서 NMT 성능 향상이 측정 가능한가?
• RQ4 Luong 등(2015)의 기존 방법과 비교해 본다면, 제안된 방법은 희귀어 및 예측되지 않은 엔터티를 어떻게 다루는가?
• RQ5 외부 NE 목록과 신경 대응 관계 기반 기법은 훈련 데이터에 포함되지 않은 예외적인 사례에 대해서도 강건성과 일반화 능력을 향상시키는가?

주요 결과

• 제안된 방법은 기준 시스템 대비 중국어-영어 NMT 성능을 2.9 BLEU 포인트 향상시켰다.
• NE 대체 기법과 Luong 등의 방법을 조합하면 추가로 0.75 BLEU 포인트 향상이 발생하여 기준 시스템 대비 총 2.9 BLEU 포인트 향상 달성.
• NE 번역 모델은 인물, 장소, 기타 NE 유형에 대해 각각 0.71, 0.28, 0.35의 단어 수준 정확도를 기록했으며, 어휘 테이블 통합으로 성능 향상이 이루어졌다.
• NE 대응 성능은 인물 97%, 장소 93%, 기타 96%로 나타나 대응 파이프라인의 높은 신뢰성을 입증한다.
• 동일한 중국어-영어 작업에서 Luong 등의 접근 방식보다 1.6 BLEU 포인트 높은 성능을 기록하여 희귀어 처리 능력이 뛰어나다는 것을 입증한다.
• 높은 대응 정확도는 자동 단어 대응에서 유래하는 노이즈를 감소시킨다는 것을 시사하며, 특히 중국어-영어와 같은 저자원 언어 쌍에 있어 매우 유용하다.