[논문 리뷰] Paying Attention to Multi-Word Expressions in Neural Machine Translation

Matīss Rikters, Ondřej Bojar|arXiv (Cornell University)|2017. 10. 17.

Natural Language Processing Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 합성 병렬 MWE 쌍을 사용하여 훈련 데이터를 보강함으로써 다중어휘어구(MWE)에 대한 신경 기계 번역(NMT) 성능을 햖थ다. 두 가지 전략—고립된 MWE 쌍 추가 및 MWE 포함 문장 추가—를 평가한 결과, 고립된 MWE 쌍만 추가하는 것이 MWE 전용 테스트 세트에서 BLEU 점수를 0.99 포인트 향상시켰으며, 정렬 분석을 통해 향상된 모델에서 MWE에 대한 주의 집중이 개선되었음을 확인하였다.

ABSTRACT

Processing of multi-word expressions (MWEs) is a known problem for any natural language processing task. Even neural machine translation (NMT) struggles to overcome it. This paper presents results of experiments on investigating NMT attention allocation to the MWEs and improving automated translation of sentences that contain MWEs in English->Latvian and English->Czech NMT systems. Two improvement strategies were explored -(1) bilingual pairs of automatically extracted MWE candidates were added to the parallel corpus used to train the NMT system, and (2) full sentences containing the automatically extracted MWE candidates were added to the parallel corpus. Both approaches allowed to increase automated evaluation results. The best result - 0.99 BLEU point increase - has been reached with the first approach, while with the second approach minimal improvements achieved. We also provide open-source software and tools used for MWE extraction and alignment inspection.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 고정된 다중어휘어구를 제대로 번역하지 못하는 문제를 해결함. 특히 관용어나 고정어구 형태의 표현을 유지하지 못하는 경향이 있음.
• 영어–라트비아어 및 영어–체코어와 같은 저자원 환경에서 NMT 모델이 추론 도중 MWE에 주의를 어떻게 분배하는지 조사함.
• 자동으로 추출하고 정렬한 병렬 MWE 코퍼스를 사용하여 훈련 데이터를 보강함으로써 NMT 성능을 향상시킴.
• 합성 MWE 데이터의 영향을 자동 평가 지표(BLEU)와 주의 정렬의 수동 검토를 통해 평가함.
• MWE 추출, 정렬 시각화, NMT 파이프라인 통합을 위한 오픈소스 도구를 공개함.

제안 방법

• 규칙 기반 MWE 툴킷을 사용하여 병렬 단일어 및 병렬 코퍼스에서 후보 MWE를 추출함. 어휘적 및 문법적 관용어 유사 패턴에 중점을 둠.
• 두 가지 유형의 합성 훈련 데이터를 생성함: (1) 고립된 이중어 MWE 쌍, (2) 추출된 MWE를 포함한 전체 문장. 양쪽 모두 BPE 수준에서 서브어절 단위로 정렬함.
• WMT 2017 병렬 코퍼스를 사용하여 영어–체코어 및 영어–라트비아어에 대해 기준 NMT 모델(Neural Monkey)을 보정함.
• 사용자 정의 웹 기반 도구를 사용하여 소프트 주의 행렬을 소스 및 타겟 BPE 토큰 간에 렌더링함.
• 기준 모델과 향상된 모델 간의 주의 패턴을 알려진 MWE를 포함한 예시 문장들을 사용해 비교함. 주의 강도와 일관성에 중점을 둠.
• 전용 MWE 집중 테스트 세트에서의 BLEU 점수를 사용하여 성능 향상을 정량화함. 번역 품질과 주의 행동의 수동 검토로 보완함.

실험 결과

연구 질문

• RQ1 현재 NMT 모델은 다중어휘어구(MWE)에 대해 어떻게 주의를 분배하고 있으며, 주의 행렬에서 어떤 패턴이 드러나나요?
• RQ2 훈련 데이터에 합성 MWE 쌍을 포함시킴으로써 NMT 성능이 자동 평가 및 수동 평가로 측정된 MWE 번역에서 향상될 수 있나요?
• RQ3 MWE를 포함한 전체 문장을 훈련 데이터에 추가하면 고립된 MWE 쌍만 추가하는 것보다 더 큰 성능 향상이 이루어지나요?
• RQ4 향상된 모델이 기준 모델에 비해 MWE 구성 요소에 대해 더 집중적이고 일관성 있는 주의를 보이는 정도는 어느 정도인가요?
• RQ5 정렬 시각화 도구는 데이터 보강 후 MWE 번역 향상 여부를 효과적으로 드러낼 수 있나요?

주요 결과

• 고립된 이중어 MWE 쌍을 훈련 데이터에 추가함으로써 가장 높은 성능 향상을 기록하였으며, MWE 전용 테스트 세트에서 BLEU 점수가 0.99 포인트 향상됨.
• 전체 문장 기반 MWE 보강 전략은 성능 향상이 미미하여, 이 맥락에서 고립된 MWE가 데이터 보강에 더 효과적임을 시사함.
• 수동 검토를 통해 향상된 모델이 특정 MWE, 예를 들어 영어–라트비아어 번역에서 'network users'의 번역을 더 정확하게 생성함을 확인함.
• 주의 정렬 시각화 결과, 향상된 모델에서 MWE 단어가 정확한 타겟 번역어에 대해 더 강하고 집중된 주의 선을 보였으며, 특히 다중어휘어구 유닛에서 두드러짐.
• 기준 모델은 MWE 구성 요소에 대해 약하고 산산이 흩어진 주의를 보여 주의 정렬에 대한 불확실성을 드러냄. 반면 향상된 모델은 더 명확하고 일관성 있는 주의 패턴을 보임.
• 오픈소스 MWE 추출 및 정렬 시각화 도구를 성공적으로 활용하여 주의 행동 및 번역 품질 향상 여부를 검토하고 검증함.