[논문 리뷰] Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization

Jiacheng Zhang, Yang Liu외 3명|arXiv (Cornell University)|2018. 11. 02.

Natural Language Processing Techniques참고 문헌 16인용 수 13

한 줄 요약

이 논문은 신경 기계 번역(NMT)에 다중 겹치는, 임의의 사전 지식 소스—예를 들어 双어 사전과 어구 표—를 유연하게 통합할 수 있는 사후 정규화 프레임워크를 제안한다. 실수 값 특징으로서 사전 지식을 모델링하고, KL 발산을 최소화하여 최적화함으로써, 표준 NMT와 이전의 사후 정규화 방법보다 중국어-영어 번역 벤치마크에서 번역 품질을 크게 향상시킨다.

ABSTRACT

Although neural machine translation has made significant progress recently, how to integrate multiple overlapping, arbitrary prior knowledge sources remains a challenge. In this work, we propose to use posterior regularization to provide a general framework for integrating prior knowledge into neural machine translation. We represent prior knowledge sources as features in a log-linear model, which guides the learning process of the neural translation model. Experiments on Chinese-English translation show that our approach leads to significant improvements.

연구 동기 및 목표

• 종합적인 신경 기계 번역에 다중 겹치는, 임의의 사전 지식 소스를 통합하는 과제를 해결하기 위해.
• 기존 방법의 한계를 극복하기 위해, 모델 아키텍처를 수정하거나 단순한 제약 조건에 국한된 덧셈형 손실 항목을 사용하는 것.
• 원래 NMT 아키텍처를 유지하면서 사전 지식을 통해 학습을 이끌어내는 일반적이고 유연하며 미분 가능한 프레임워크를 제공하기 위해.
• 이중 사전, 어구 표, 커버리지 제약 조건과 같은 상징적 지식을 통합하여 번역 품질을 향상시키기 위해.

제안 방법

• 사전 지식 소스를 로그-선형 모델 내 실수 값 특징으로 표현하여 NMT 모델의 사후 분포를 이끌기.
• 제약 조건이 부여된 사후 분포 집합 대신 로그-선형 모델을 사용한 사후 정규화를 통해, 미분 가능하고 효율적인 훈련을 가능하게 하기.
• 로그-선형 모델이 정의한 바람직한 사후 분포와 모델의 사후 분포 사이의 KL 발산을 최소화하여 NMT 모델을 최적화하기.
• 이중 사전(BD), 어구 표(PT), 커버리지 페널티(CP), 길이 비율(LR) 등의 특징을 훈련 중 소프트 제약 조건으로 통합하기.
• 모델 투명성을 유지하면서도, NMT 모델과 로그-선형 사전 모델을 함께 훈련하기 위한 미분 가능한 목적 함수를 사용하기.
• n-best 목록에서 복수의 번역 후보를 재정렬하기 위해 사전 지식 특징을 적용하여 디코딩 품질을 추가로 향상시키기.

실험 결과

연구 질문

• RQ1 모델 아키텍처를 수정하지 않고도 다중 겹치는, 임의의 사전 지식 소스를 종합적인 NMT에 효과적으로 통합할 수 있는 일반적 프레임워크가 존재하는가?
• RQ2 제약 조건이 있는 사후 분포 집합 대비, 로그-선형 모델을 사용한 사후 정규화의 훈련 안정성과 번역 성능에서의 성능 비교는 어떠한가?
• RQ3 이중 사전, 어구 표, 커버리지 제약 조건과 같은 다양한 유형의 사전 지식이 번역 품질 향상에 얼마나 기여하는가?
• RQ4 훈련 단계에서 사전 지식을 통합하는 것이 디코딩 단계에서만 적용하는 것보다 더 나은 성능을 내는가?

주요 결과

• 제안된 방법은 NIST 중국어-영어 테스트 세트에서 BLEU 점수 30.76을 기록하여 RNNSearch(29.72)와 제약 조건이 있는 사후 정규화(PostReg)를 뛰어넘었다.
• 이중 사전(BD) 특징이 성능 향상에 가장 큰 기여를 하였으며, 어휘 수준의 사전 지식의 가치를 입증하였다.
• 다양한 특징을 조합해도 성능 향상이 미미한 편이었는데, 이는 BD와 PT가 단일 어절 쌍에서 중복되는 경향이 있기 때문이다.
• 사전 지식 특징을 활용한 재정렬이 번역 품질을 향상시켰으며, 사후 정규화를 통한 간접적 지도 학습의 유용성을 확인하였다.
• 사전에 훈련된 RNNSearch 모델에서 초기화한 경우 약 100K 반복 이내에 수렴하며, 단일 GPU에서 반복당 1.5배의 추론 속도 저하가 발생한다.
• 예시 번역 결과에서는 BD 및 CP 특징이 생략 및 번역되지 않은 단어를 줄이고, LR 및 PT 특징이 길이 제어와 어구의 유창성을 향상시키는 데 기여하였다.