[논문 리뷰] Document-Level Neural Machine Translation with Hierarchical Attention Networks

Lesly Miculicich, Dhananjay Ram외 2명|arXiv (Cornell University)|2018. 09. 05.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 변환기 기반 NMT 모델에 통합된 계층적 다중 헤드 어텐션 네트워크(HAN)를 제안하여 원천 및 대상 양측의 문서 수준 맥락을 포착한다. 이는 이전 번역의 관련 단어와 문장을 동적으로 어텐션하여 모델이 번역 품질을 크게 향상시키며, BLEU, 어휘 결속력 및 일관성에서 다수의 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 대명사 해석 해소 및 논리적 일관성 향상에서 두드러진 성과를 보인다.

ABSTRACT

Neural Machine Translation (NMT) can be improved by including document-level contextual information. For this purpose, we propose a hierarchical attention model to capture the context in a structured and dynamic manner. The model is integrated in the original NMT architecture as another level of abstraction, conditioning on the NMT model's own previous hidden states. Experiments show that hierarchical attention significantly improves the BLEU score over a strong NMT baseline with the state-of-the-art in context-aware methods, and that both the encoder and decoder benefit from context in complementary ways.

연구 동기 및 목표

• 문장 수준 번역을 초월해 문서 수준 맥락을 통합함으로써 신경 기계 번역을 향상시키기 위해.
• 기존의 맥락 인식 방법이 추가 매개변수를 추가하거나 주요 NMT 아키텍처에서 분리되는 등의 한계를 해결하기 위해.
• 계층적 어텐션을 사용하여 단어 수준 및 문장 수준의 추상화를 포괄하는 구조적이고 동적인 방식으로 문장 간 연결을 모델링하기 위해.
• 이전 문장 번역의 은닉 표현을 재사용함으로써 인코더와 디코더 양측에서 맥락 모델링을 공동 최적화하기 위해.
• 원천 측 및 대상 측 맥락이 상호 보완적이며 함께 번역 품질을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• Transformer 기반 NMT 모델에 인코더와 디코더 양측에 HAN 모듈을 통합하여 이전 원천 및 대상 문장의 맥락을 모델링한다.
• 현재 디코딩 단계에 따라 관련 단어와 문장을 동적으로 어텐션하기 위해 단어 수준 및 문장 수준의 다중 헤드 어텐션을 사용한다.
• 인코더 및 디코더 양측에서 이전 문장 번역의 은닉 상태를 재사용하여 다중 문장에 걸쳐 엔드 투 엔드 최적화를 가능하게 한다.
• NMT 네트워크와 HAN 모듈 간의 정보 흐름을 조절하기 위해 맥락 게이팅 메커니즘을 적용한다.
• 각 어텐션 레이어 이후에 위치 기반 피드포워드 네트워크와 레이어 정규화를 적용하여 학습 안정성과 표현 학습을 향상시킨다.
• 기존 HAN을 다중 헤드 어텐션으로 확장하여 핵심어 지칭, 어휘 결속력 등의 다양한 논리적 현상 포괄 가능하게 한다.

실험 결과

연구 질문

• RQ1 외부 인코더나 메모리 모듈을 추가하지 않고도 계층적 어텐션 네트워크가 신경 기계 번역에서 문서 수준 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 원천 측 및 대상 측 맥락은 번역 품질에 어떻게 기여하며, 상호 보완적인가?
• RQ3 제안된 HAN 모델은 BLEU와 같은 자동 평가 지표를 뛰어나서 어휘 결속력 및 일관성과 같은 정성적 논리적 현상까지 향상시킬 수 있는가?
• RQ4 모델은 문장 간 맥락을 활용해 대명사를 얼마나 잘 해석할 수 있으며, 그 어텐션 메커니즘은 얼마나 해석 가능한가?
• RQ5 HAN을 주요 NMT 아키텍처에 통합함으로써 독립형 맥락 인코더나 캐시 기반 방법보다 더 높은 성능을 낼 수 있는가?

주요 결과

• 제안된 HAN-NMT 모델은 IWSLT'17 En-De 테스트 세트에서 BLEU 점수 55.40을 기록하여 강력한 Transformer 기반 베이스라인(54.26)을 뛰어넘었다.
• 어휘 결속력은 평균 1.5% 향상되었고, 일관성은 0.013 향상되어 문장 수준의 결속력 및 어휘 반복성이 향상됨을 시사한다.
• IWSLT'17 테스트 세트에서 대명사 해석 해소 정확도는 30.58%에 도달하여 베이스라인 대비 0.52% 향상되었으며, 정성적 분석을 통해 정확한 핵심어 지칭 해결이 이루어짐을 확인했다.
• 제거 실험 결과, 원천 및 대상 맥락이 상호 보완적임을 확인: HAN 인코더와 디코더를 모두 사용할 경우 가장 높은 성능 향상이 이루어졌다.
• 정성적 사례 분석을 통해 HAN이 올바른 전행어(예: 'Nathaniel'이 'su'의 전행어로 식별)를 식별하고 관련 맥락을 강조함으로써 설명 가능한 어텐션 메커니즘을 보여주었다.