[논문 리뷰] Predicting Target Language CCG Supertags Improves Neural Machine Translation

Maria Nădejde, Siva Reddy외 5명|arXiv (Cornell University)|2017. 02. 03.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델의 디코더에서 CCG 슈퍼태그를 대상어의 단어와 번갈아 배치하여 대상어의 문법을 명시적으로 모델링한다. 단어와 문법을 밀접하게 결합함으로써 독일어→영어에서 0.9 BLEU, 루마니아어→영어에서 1.2 BLEU 향상되며, 다중작업 학습을 능가하고, 전치구어구 첨부와 같은 복잡한 문법 현상에서 일관된 성능 향상을 보인다.

ABSTRACT

Neural machine translation (NMT) models are able to partially learn syntactic information from sequential lexical information. Still, some complex syntactic phenomena such as prepositional phrase attachment are poorly modeled. This work aims to answer two questions: 1) Does explicitly modeling target language syntax help NMT? 2) Is tight integration of words and syntax better than multitask training? We introduce syntactic information in the form of CCG supertags in the decoder, by interleaving the target supertags with the word sequence. Our results on WMT data show that explicitly modeling target-syntax improves machine translation quality for German->English, a high-resource pair, and for Romanian->English, a low-resource pair and also several syntactic phenomena including prepositional phrase attachment. Furthermore, a tight coupling of words and syntax improves translation quality more than multitask training. By combining target-syntax with adding source-side dependency labels in the embedding layer, we obtain a total improvement of 0.9 BLEU for German->English and 1.2 BLEU for Romanian->English.

연구 동기 및 목표

• 대상어 문법을 명시적으로 모델링하면 신경 기계 번역 품질이 향상되는가를 조사하는 것.
• 단어와 문법을 번갈아 배치하여 밀접하게 통합하는 것과 다중작업 학습을 통한 느슨한 결합 방식을 비교하는 것.
• NMT에서 원천어 측과 대상어 측의 문법적 특징이 상호 보완적인가를 평가하는 것.
• 대상어 문법이 다양한 문법 현상과 문장 길이에 미치는 영향을 분석하는 것.
• CCG 슈퍼태그가 NMT 모델에 의해 효과적으로 예측될 수 있음을 보여주어 종단간 문법 인식 번역을 가능하게 하는 것.

제안 방법

• 서브카테고리제, 첨부관계, 형태학적 정보를 포함한 CCG 슈퍼태그를 대상어 단어와 순서를 번갈아 배치하여 디코더에 통합한다.
• 단어와 해당하는 CCG 슈퍼태그를 동시에 예측하는 시퀀스-투-시퀀스 NMT 모델을 밀접하게 결합된 방식으로 학습한다.
• 모델이 인코더와 디코더를 공유하지만 단어 번역과 슈퍼태그 예측을 별도로 학습하는 다중작업 기반 모델을 백준으로 구현한다.
• Sennrich와 Haddow(2016)의 원천어 측 언어적 특징 프레임워크를 활용하여, 임bedding 레이어에 의존성 레이블과 품사 태그를 통합한다.
• CCGBank를 사용해 CCG 슈퍼태그를 주석화하고, 슈퍼태그 예측 정확도를 평가하여 모델의 문법 이해 능력을 검증한다.
• 독일어→영어 및 루마니아어→영어에 대해 WMT 데이터셋을 사용하여 성능을 평가하며, BLEU 점수를 측정하고 문장 길이 및 문법 현상에 따른 성능 향상을 분석한다.

실험 결과

연구 질문

• RQ1 대상어 문법을 명시적으로 모델링하면 신경 기계 번역 품질이 향상되는가?
• RQ2 슈퍼태그를 번갈아 배치하여 단어와 문법을 밀접하게 통합하는 방식이 다중작업 학습을 통한 느슨한 결합 방식보다 더 효과적인가?
• RQ3 저자원 언어 쌍과 고자원 언어 쌍에서 대상어 문법 통합이 번역 품질에 어떤 영향을 미치는가?
• RQ4 원천어 측과 대상어 측의 문법적 특징이 NMT에서 얼마나 상호 보완적인가?
• RQ5 대상어 문법 통합이 전치구어구 첨부 및 절 통합과 같은 특정 문법 현상에서 성능 향상에 기여하는가?

주요 결과

• 디코더에서 CCG 슈퍼태그를 대상어 단어와 번갈아 배치함으로써 독일어→영어에서 0.9 BLEU 포인트, 루마니아어→영어에서 1.2 BLEU 포인트 향상되었으며, 기준 NMT 및 다중작업 학습을 모두 능가했다.
• 슈퍼태그를 번갈아 배치하여 단어와 문법을 밀접하게 결합하는 방식이, 단어와 슈퍼태그 예측을 별도로 학습하는 다중작업 학습보다 더 큰 성능 향상을 이끌어냈다.
• 대상어 문법 정보와 원천어 측 의존성 레이블을 조합하면 단독으로 사용할 경우보다 번역 품질이 더 향상되었으며, 이는 상호 보완적 이점을 보여준다.
• 성능 향상은 특히 35단어 이상의 긴 문장에서 가장 두드러지며, 특히 부사절 및 좌표절과 같은 복잡한 문법적 구조를 가진 문장에서 두드러졌다.
• CCG 슈퍼태그 예측 정확도가 매우 높았으며, 독일어→영어에서 95.6%, 루마니아어→영어에서 93.2%를 기록하여 안정적인 문법 신호 학습을 확인했다.
• 세부 분석을 통해 전치구어구 첨부 및 기타 문법 현상에서 일관된 성능 향상이 확인되었으며, 특히 긴 문장과 복잡한 문장 구조에서 두드러진 개선이 있었다.