[논문 리뷰] Augmenting Neural Machine Translation with Knowledge Graphs

Diego Moussallem, Mihael Arčan외 2명|arXiv (Cornell University)|2019. 02. 23.

Natural Language Processing Techniques참고 문헌 62인용 수 16

한 줄 요약

이 논문은 RNN 및 Transformer 아키텍처의 핵심 구조를 수정하지 않고 지식 그래프 임베딩(KGE)과 실체 연결(EL)을 통합하여 엔티티 및 용어 번역을 향상시키는 지식 그래프 보강 신경 기계 번역(KG-NMT) 프레임워크를 제안한다. 이 방법은 WMT 영어-독일어 번역 벤치마크(2014–2018)에서 일관된 +3 BLEU, METEOR, chrF3 향상을 달성하였으며, 특히 OOV 단어 번역에서 성능 향상을 보였다. RNN은 KGE 특징 활용이 더 우수하여 Transformer보다 더 큰 이점을 얻었다.

ABSTRACT

While neural networks have been used extensively to make substantial progress in the machine translation task, they are known for being heavily dependent on the availability of large amounts of training data. Recent efforts have tried to alleviate the data sparsity problem by augmenting the training data using different strategies, such as back-translation. Along with the data scarcity, the out-of-vocabulary words, mostly entities and terminological expressions, pose a difficult challenge to Neural Machine Translation systems. In this paper, we hypothesize that knowledge graphs enhance the semantic feature extraction of neural models, thus optimizing the translation of entities and terminological expressions in texts and consequently leading to a better translation quality. We hence investigate two different strategies for incorporating knowledge graphs into neural models without modifying the neural network architectures. We also examine the effectiveness of our augmentation method to recurrent and non-recurrent (self-attentional) neural architectures. Our knowledge graph augmented neural translation model, dubbed KG-NMT, achieves significant and consistent improvements of +3 BLEU, METEOR and chrF3 on average on the newstest datasets between 2014 and 2018 for WMT English-German translation task.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 영구적인 과제인, 특히 명시적 실체와 용어 표현에 해당하는 '사전 외 단어'(OOV) 문제를 해결하기 위해.
• 지식 그래프(KG)가 NMT 모델의 의미적 특징 추출 능력을 향상시킬 수 있는지, 특히 드문 또는 미리보지 않은 실체에 대해 검토하기 위해.
• 기존의 신경망 아키텍처를 수정하지 않고도 순환(RNN) 및 비순환(자기주의 주의) NMT 아키텍처에 지식 그래프 보강을 적용하고 그 효과를 평가하기 위해.
• BLEU, METEOR, chrF3 지표를 기준으로 단일 언어 단어 임베딩과 기준 NMT 시스템에 비해 지식 그래프 보강 모델의 성능을 비교하기 위해.
• 특히 KGE 표현 학습 측면에서 어떤 아키텍처(예: RNN)가 지식 그래프 통합에서 더 큰 이점을 얻는지 분석하기 위해.

제안 방법

• 이 방법은 기존 신경망 아키텍처를 수정하지 않고, KGE와 EL 출력을 특징 연결을 통해 NMT 모델의 입력 표현에 통합한다.
• 두 가지 보강 전략을 평가한다: (1) EL + KGE, 및 (2) 의미적 KGE(SemKGE), 여기서 지식 그래프에서의 실체별 임베딩을 사용한다.
• 이 접근법은 RNN 및 Transformer를 포함한 단어 기반 및 BPE 기반 NMT 모델에 적용되었으며, 여러 WMT 뉴스테스트 세트(2014–2018)에서 평가되었다.
• 실체 연결은 모호한 용어를 지식 그래프의 실체로 해결하며, KGE는 실체 및 관계의 조밀한 벡터 표현을 제공하여 입력 토큰의 의미적 맥락을 풍부하게 한다.
• RNN에서는 ReLU 및 LSTM 활성화 함수를 사용하며, 이들이 KGE 통합에 미치는 영향을 분석한다. 특히, Transformer에서 ReLU가 KGE 특징 학습에 효과적으로 활용되지 못함을 주목한다.
• 평가에는 표준 지표인 BLEU, METEOR, chrF3를 사용하였으며, OOV 실체 번역 품질에 대한 수동 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩이 신경 기계 번역에서 사전 외(OOV) 단어, 특히 명시적 실체 및 용어 표현의 번역을 향상시킬 수 있는가?
• RQ2 지식 그래프 통합이 RNN 및 Transformer와 같은 다양한 NMT 아키텍처에서 일관된 성능 향상을 이끌 수 있는가?
• RQ3 RNN 기반 모델이 Transformer 기반 모델보다 지식 그래프 보강에서 더 큰 이점을 얻는 이유는 무엇인가? 특히 KGE 표현 학습 측면에서 설명할 수 있는가?
• RQ4 단일 언어 단어 임베딩만 사용하는 모델에 비해 지식 그래프 보강 NMT는 실체 번역 품질 측면에서 어떻게 비교되는가?
• RQ5 EL+KGE와 SemKGE와 같은 서로 다른 지식 그래프 통합 전략이 번역 성능 및 OOV 단어 처리에 어떤 영향을 미치는가?

주요 결과

• KG-NMT는 WMT 2014–2018 영어-독일어 뉴스테스트 세트에서 평균적으로 +3 BLEU, METEOR, chrF3 향상을 달성하여 뚜렷하고 안정적인 성과 향상을 보였다.
• RNN 기반 KG-NMT(SemKGE) 모델은 지식 그래프 통합 후 모든 테스트 세트에서 기준 Transformer보다 BLEU 성능이 뛰어나, newstest2018에서 30.55 BLEU를 기록했다.
• Transformer 모델의 경우 지식 그래프 보강 후 성능이 기준 모델보다 낮아졌으며, 이는 ReLU 활성화 함수가 자기주의 주의 메커니즘 내에서 효과적인 KGE 특징 학습을 저해할 수 있음을 시사한다.
• 수동 평가 결과, 기준 모델이 실패한 'UK' 및 'Coastguard'와 같은 실체를 KG-NMT가 정확히 번역하는 것으로 확인되었으며, 단일 언어 임베딩은 'Principal'을 'Wichtigste'(중요한)로 잘못 번역했다.
• SemKGE 전략은 EL+KGE 및 단일 언어 임베딩보다 성능이 뛰어나, OOV 단어 번역에 있어 실체별 KGE 표현이 일반 임베딩보다 더 효과적임을 보여주었다.
• 집계 지표에서는 단일 언어 임베딩과 KGE 사이에 유의미한 차이가 없었지만, 수동 분석을 통해 단일 언어 임베딩은 실체 번역에서 실패했고 KGE는 성공했으며, 이는 실체 인식 지식의 중요성을 강조한다.