[논문 리뷰] Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model

Poorya Zaremoodi, Gholamreza Haffari|arXiv (Cornell University)|2017. 11. 19.

Natural Language Processing Techniques참고 문헌 16인용 수 14

한 줄 요약

이 논문은 문법 분석 트리의 압축된 숲을 활용하여 문법적 불확실성을 모델링하는 포레스트 투 시퀀스 주목사능 신경 기계 번역 모델을 제안한다. 이로 인해 번역의 견고성이 향상된다. 지수적으로 많은 분석 트리를 통해 동적 프로그래밍을 적용함으로써, 오류가 발생하기 쉬운 단일 분석 트리에 대한 의존도를 줄이고, 영어-독일어, 중국어, 페르시아어 번역 작업 전반에서 트리 투 시퀀스 및 보편적인 시퀀스 투 시퀀스 모델보다 높은 BLEU 점수를 달성한다.

ABSTRACT

Incorporating syntactic information in Neural Machine Translation models is a method to compensate their requirement for a large amount of parallel training text, especially for low-resource language pairs. Previous works on using syntactic information provided by (inevitably error-prone) parsers has been promising. In this paper, we propose a forest-to-sequence Attentional Neural Machine Translation model to make use of exponentially many parse trees of the source sentence to compensate for the parser errors. Our method represents the collection of parse trees as a packed forest, and learns a neural attentional transduction model from the forest to the target sentence. Experiments on English to German, Chinese and Persian translation show the superiority of our method over the tree-to-sequence and vanilla sequence-to-sequence neural translation models.

연구 동기 및 목표

• 신경 기계 번역에서 오류가 발생하기 쉬운 단일 분석 트리에 의존하는 데서 비롯하는 한계를 해결하기 위해.
• 문법적 불확실성을 모델링하여 자원이 적거나 언어적 거리가 먼 언어 쌍에 대해 번역 성능을 향상시키기 위해.
• 원본 문장의 가능한 문법적 구조의 전체 분포를 효과적으로 포착하는 방법을 개발하기 위해.
• 포레스트 기반의 분석 트리가 1-best 트리 및 시퀀스 투 시퀀스 기반 모델보다 번역 품질에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 원본 문장의 가능한 분석 트리 집합을 압축된, 압축된 숲 데이터 구조로 표현한다.
• 하나의 숲에 포함된 모든 트리로부터 동시에 어휘 표현을 계산하기 위해 하향식 동적 프로그래밍 접근법을 사용한다.
• 표준 주목사능 인코더-디코더 프레임워크를 확장하여 숲에서 유도된 단어 수준 및 어휘 수준의 표현에 주목할 수 있도록 한다.
• 개조된 주목사능 메커니즘을 사용하여 숲 내의 개별 단어와 문법 어휘 모두 기반으로 문맥 벡터를 계산한다.
• 개발 세트에서 조기 정지 기법을 적용한 확률적 경사 하강법을 사용해 모델을 종합적으로 훈련시킨다.
• 추론을 위해 빔 서치 디코딩을 사용하고, 그로 인해 BLEU 점수로 평가한다.

실험 결과

연구 질문

• RQ1 분석 트리의 숲을 통해 문법적 불확실성을 모델링하면 신경 기계 번역 성능이 향상되는가?
• RQ2 포레스트 투 시퀀스 모델이 단일 1-best 분석 트리나 표준 시퀀스 투 시퀀스 아키텍처 기반 모델보다 뛰어난가?
• RQ3 다양한 문장 길이와 다양한 분석 불확실성을 보이는 언어 쌍에서 모델의 성능은 어떻게 변하는가?
• RQ4 포레스트를 사용할 경우와 단일 트리를 사용할 경우에 주목사능 메커니즘이 문장 어휘 수준 표현에 얼마나 더 많이 집중하는가?

주요 결과

• 포레스트 투 시퀀스 모델은 영어-독일어, 영어-중국어, 영어-페르시아어 모두 3개 언어 쌍에서 트리 투 시퀀스 모델과 보편적인 시퀀스 투 시퀀스 모델보다 높은 BLEU 점수를 기록했다.
• 모든 문장 길이 구간에서 일관된 향상이 관찰되어, 짧은 문장에도 효과가 있음을 시사한다.
• 영어-페르시아어 데이터셋에서 가장 높은 성능 향상(최대 0.7 BLEU 포인트)을 기록했으며, 이는 가장 높은 분석 불확실성을 보였기 때문이다.
• 주목사능 분석 결과, 포레스트 기반 모델이 트리 기반 모델보다 훨씬 더 많은 주목사능을 어휘 수준 표현에 할당하는 것으로 나타나, 문법적 구조를 더 효과적으로 활용하고 있음을 시사한다.
• 모델는 숲 내의 분석 트리 다양성을 효과적으로 활용하여 분석기 오류를 보완함으로써, 문법적 모호성에 대한 견고성을 입증했다.