[논문 리뷰] Multi-Granularity Self-Attention for Neural Machine Translation

Jie Hao, Xing Wang외 3명|arXiv (Cornell University)|2019. 09. 05.

Natural Language Processing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 표준 다중 헤드 자기주의의 한계를 해결하기 위해 문장 수준의 패턴을 전용 자기주의 헤드를 통해 명시적으로 모델링함으로써 트랜스포저 기반 신경 기계 번역 성능을 향상시키는 새로운 주의 메커니즘인 다중 분해능 자기주의(Mg-Sa)를 제안한다. 이는 n-그램 및 문법적 어구에 대한 전용 주의 헤드를 통해 구조적 패턴을 모델링함으로써 다양한 수준의 어구 구조를 포착하면서도 자기주의의 유연성을 유지한다. WMT14 En→De 및 NIST Zh→En 벤치마크에서 번역 성능을 향상시킨다.

ABSTRACT

Current state-of-the-art neural machine translation (NMT) uses a deep multi-head self-attention network with no explicit phrase information. However, prior work on statistical machine translation has shown that extending the basic translation unit from words to phrases has produced substantial improvements, suggesting the possibility of improving NMT performance from explicit modeling of phrases. In this work, we present multi-granularity self-attention (Mg-Sa): a neural network that combines multi-head self-attention and phrase modeling. Specifically, we train several attention heads to attend to phrases in either n-gram or syntactic formalism. Moreover, we exploit interactions among phrases to enhance the strength of structure modeling - a commonly-cited weakness of self-attention. Experimental results on WMT14 English-to-German and NIST Chinese-to-English translation tasks show the proposed approach consistently improves performance. Targeted linguistic analysis reveals that Mg-Sa indeed captures useful phrase information at various levels of granularities.

연구 동기 및 목표

• 표준 다중 헤드 자기주의가 어구 수준의 의존성을 포착하는 데에 한계를 보이며, 이는 통계 및 신경 기반 번역 시스템에서 성능 향상에 기여한다는 점을 해결하기 위함이다.
• Transformer에서 미사용되는 주의 헤드가 모델의 효율성에 손상을 주지 않은 채 어구 모델링을 위해 재사용될 수 있는지 탐색하기 위함이다.
• 표면 수준의 n-그램과 문법적으로 유도된 어구를 주의 메커니즘에 통합하여 구조적 모델링을 향상시키기 위함이다.
• 다양한 분해능 수준에서 어구 수준의 정보를 모델이 어떻게 포착하고 유지하는지 조사하기 위해 探측 작업을 통해 검증하기 위함이다.
• Mg-Sa의 일반화 능력을 번역을 넘어서는 단일 언어 어구 예측 작업에서 테스트하여 성능을 입증하기 위함이다.

제안 방법

• 입력 시퀀스를 연속적인 n-그램(예: 2-그램, 3-그램) 또는 의존성 트리에서 유도된 문법적 구성요소로 나누어 어구를 정의하고, 이를 위한 전용 주의 헤드를 도입하여 개별 토큰이 아닌 어구 조각을 대상으로 주의를 수행한다.
• 입력 시퀀스를 다양한 분해능 수준에서 겹치는 또는 겹치지 않는 어구 조각으로 분할하고, 각각의 어구 조각에 대해 특정 주의 헤드를 할당하여 어구 표현을 생성한다.
• 어구 경계를 넘어서도 주의 헤드가 어구 간 상호작용을 허용함으로써 어구 간의 상호작용을 통합하고, 구조적 모델링 능력을 향상시킨다.
• 표준 트랜스포저 아키텍처를 유지하면서 주의 헤드 행동만을 어구 수준의 입력에 맞게 수정하고, 스케일된 코사인 유사도를 사용한 도트 곱 주의를 적용한다.
• 모델의 성능을 평가하기 위해 엔드 투 엔드 번역 작업과 어구 수준 레이블(예: 품사, 시제, 어미 형태 등) 예측 능력을 테스트하는 探측 작업을 병행하여 평가한다.
• 의존성 파싱을 통해 문법적 어구를 유도하고, 이를 전용 주의 헤드의 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 Transformer의 전용 주의 헤드가 어구 수준 패턴을 효과적으로 재사용하여 번역 성능을 향상시킬 수 있는가?
• RQ2 n-그램과 문법적 어구 표현을 병합하면 표준 자기주의보다 더 나은 구조적 모델링이 가능한가?
• RQ3 다양한 분해능 수준에서 Mg-Sa가 얼마나 잘 어구 수준의 정보를 포착하고 유지하는가? 이를 探측 작업을 통해 측정한 결과는 어떠한가?
• RQ4 다양한 언어 쌍과 작업에서 Mg-Sa의 성능이 강력한 트랜스포저 기반 베이스라인과 비교해 어떻게 나타나는가?
• RQ5 Mg-Sa에서의 어구 모델링 이점은 번역을 넘어서 단일 언어 어구 예측 작업 등에서도 일반화 가능한가?

주요 결과

• 제안된 Mg-Sa 모델은 WMT14 영어→독어 및 NIST 중국어→영어 번역 작업에서 표준 트랜스포저 베이스라인보다 일관된 성능 향상을 보였다.
• 의존성 기반 구성요소를 포함한 문법적 어구를 사용한 모델가, 단지 n-그램만 또는 어구 모델링 없이 사용한 모델보다 성능이 뛰어나 구조적 정보의 가치를 입증했다.
• 탐색 작업에서 Mg-Sa 모델은 품사, 시제, 어미 형태, SPC 등 어구 수준의 레이블 예측 능력에서 기존 NMT 인코더보다 유의미하게 뛰어나며, 특히 더 세밀한 분해능 수준에서 두드러진 성능을 보였다.
• 초기 학습부터 시작한 경우, Mg-Sa는 TSS, 시제, 어미 형태 등의 더 큰 어구 수준 작업에서 더 큰 성과를 기록하여 장거리 어구 표현 학습이 효과적으로 이루어졌음을 시사했다.
• 모델의 효율성은 유지되었으며, 표준 트랜스포저 대비 인퍼런스 속도에 큰 증가가 없었고, 이는 경량적인 통합임을 시사했다.
• 언어학적 분석을 통해 Mg-Sa가 다양한 분해능 수준에서 어구 수준의 정보를 성공적으로 포착하고 저장하고 있음을 확인하였으며, 이는 설계 목적에 부합함을 검증했다.