[논문 리뷰] Improving the Transformer Translation Model with Document-Level Context

Jiacheng Zhang, Huanbo Luan외 5명|arXiv (Cornell University)|2018. 10. 08.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 트랜스포머 번역 모델을 위한 문서 수준의 컨텍스트 인코더를 제안하며, 다중 헤드 자기주의를 통해 문장 간 장거리 종속성을 포착한다. 문장 수준 데이터로 사전 훈련한 후 제한된 문서 수준 데이터로 미세조정함으로써, 중국어-영어 번역에서 1.96 BLEU, 프랑스어-영어 번역에서 0.89 BLEU 향상되어 표준 트랜스포머 및 캐시 기반 베이스라인을 모두 능가한다.

ABSTRACT

Although the Transformer translation model (Vaswani et al., 2017) has achieved state-of-the-art performance in a variety of translation tasks, how to use document-level context to deal with discourse phenomena problematic for Transformer still remains a challenge. In this work, we extend the Transformer model with a new context encoder to represent document-level context, which is then incorporated into the original encoder and decoder. As large-scale document-level parallel corpora are usually not available, we introduce a two-step training method to take full advantage of abundant sentence-level parallel corpora and limited document-level parallel corpora. Experiments on the NIST Chinese-English datasets and the IWSLT French-English datasets show that our approach improves over Transformer significantly.

연구 동기 및 목표

• 핵심 참조 및 어휘 융합과 같은 논의 현상 처리에 어려움을 겪는 트랜스포머 모델의 한계를 문서 수준의 컨텍스트를 통합함으로써 해결하기 위해.
• 대규모 문서 수준 병렬 코퍼스의 부족을 극복하기 위해 문장 수준 병렬 데이터의 풍부함을 활용하는 이중 훈련 절차를 통해.
• 문서 수준 표현을 인코더와 디코더에 통합하면서도 계산 오버헤드를 크게 증가시키지 않는 트랜스포머 아키텍처의 확장.
• 표준 모델이 컨텍스트 부족으로 성능이 떨어지는 저자원 문서 수준 설정에서의 번역 품질 향상.

제안 방법

• 소스 문장에서 문서 수준의 컨텍스트 표현을 계산하기 위해 다중 헤드 자기주의 기반의 새로운 컨텍스트 인코더를 도입한다.
• 다중 헤드 주의 메커니즘을 사용해 문서 수준의 컨텍스트를 원래의 트랜스포머 인코더와 디코더에 통합한다.
• 이중 훈련 전략을 적용: 문장 수준 병렬 코퍼스로 사전 훈련한 후, 문장 수준 파라미터를 고정한 채로 제한된 문서 수준 병렬 코퍼스로 미세조정한다.
• 컨텍스트 게이팅을 사용해 문서 수준 컨텍스트의 영향을 동적으로 제어하며, 개선된 특징 통합을 위해 잔차 연결을 대체한다.
• 디코딩 중 전체 소스 문서를 주시할 수 있도록 다중 헤드 주의 메커니즘을 적용함으로써 장거리 종속성 모델링을 가능하게 한다.
• 매우 병렬 처리 가능한 주의 모듈에 의존함으로써 계산 효율성을 유지하며, 훈련 또는 추론 시 성능 저하를 방지한다.

실험 결과

연구 질문

• RQ1 문서 수준의 컨텍스트는 핵심 참조 및 어휘 융합과 같은 논의 현상에서 트랜스포머 번역 성능을 크게 향상시킬 수 있는가?
• RQ2 제한된 문서 수준 병렬 코퍼스만 존재할 경우 트랜스포머 모델은 어떻게 효과적으로 훈련될 수 있는가?
• RQ3 문서 수준의 컨텍스트를 트랜스포머 아키텍처의 인코더와 디코더에 최적으로 통합하는 방법은 무엇인가?
• RQ4 문장 수준 데이터로 사전 훈련하고 문서 수준 데이터로 미세조정하는 이중 훈련 전략은 작은 문서 수준 데이터로 엔드 투 엔드 훈련보다 성능을 더 좋게 만드는가?
• RQ5 컨텍스트 게이팅은 잔차 연결에 비해 문서 수준 컨텍스트 정보의 흐름 제어에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 문서 수준 컨텍스트를 사용함으로써 NIST 중국어-영어 데이터셋에서 트랜스포머 번역 성능을 1.96 BLEU 포인트 향상시켰다.
• IWSLT 프랑스어-영어 데이터셋에서는 표준 트랜스포머보다 0.89 BLEU 포인트 향상된 성능을 달성했다.
• 인코더와 디코더 양쪽에 문서 수준 컨텍스트를 통합할 경우 가장 높은 성능을 보였으며, BLEU 점수는 47.51이었고, 인코더만 향상시켰을 경우 45.97에 그쳤다.
• 잔차 연결 대비 컨텍스트 게이팅을 사용함으로써 번역 품질이 0.38 BLEU 포인트 향상되어, 컨텍스트 통합 제어에 있어 그 효과를 입증했다.
• 이중 훈련 방법은 작은 문서 수준 데이터로 엔드 투 엔드 훈련보다 뚜렷이 뛰어나며, 이는 이전 연구에서 관찰된 성능 저하를 피한다.
• 제거 분석을 통해 문서 수준 컨텍스트가 어감의 모호성 제거 및 어휘 융합 문제 해결에 기여함을 확인했으며, 사례 연구에서 'yundong'이 'saiche'(레이싱)의 맥락을 통해 'sport'로 정확히 해석됨을 보여주었다.