[논문 리뷰] Modeling Recurrence for Transformer

Jie Hao, Xing Wang외 4명|arXiv (Cornell University)|2019. 04. 05.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 트랜스포머 모델의 순환성 부족으로 인해 번역 성능에 악영향을 미치는 문제를 해결하기 위해 추가적인 순환 인코더를 도입하여 모델을 향상시키는 것을 제안한다. 표준 RNN 또는 새로운 주목적 순환 네트워크(ARN)를 통합함으로써, WMT14 및 WMT17 벤치마크에서 번역 품질이 향상되며, 얕은 ARN 버전이 더 깊은 대안들보다 뛰어나고 문법적 표현 학습 능력이 뛰어나다.

ABSTRACT

Recently, the Transformer model that is based solely on attention mechanisms, has advanced the state-of-the-art on various machine translation tasks. However, recent studies reveal that the lack of recurrence hinders its further improvement of translation capacity. In response to this problem, we propose to directly model recurrence for Transformer with an additional recurrence encoder. In addition to the standard recurrent neural network, we introduce a novel attentive recurrent network to leverage the strengths of both attention and recurrent networks. Experimental results on the widely-used WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness of the proposed approach. Our studies also reveal that the proposed model benefits from a short-cut that bridges the source and target sequences with a single recurrent layer, which outperforms its deep counterpart.

연구 동기 및 목표

• 트랜스포머 모델이 순환성이 없기 때문에 발생하는 순서적 의존성 파악 능력의 한계를 해결하기 위해.
• 트랜스포머 아키텍처에 순환성을 통합하여 번역 성능을 향상시키기 위해.
• 새로운 주목적 순환 네트워크(ARN)가 표준 RNN보다 주목적과 순환성을 더 효과적으로 통합할 수 있는지 조사하기 위해.
• 순환 인코더의 깊이와 통합 전략이 모델 성능에 미치는 영향을 평가하기 위해.
• 제안된 모델이 특히 문법적 구조에 대해 더 정보가 풍부한 표현을 학습하는지 분석하기 위해.

제안 방법

• 입력 단어 임베딩을 순차적으로 처리하는 추가적인 순환 인코더를 도입하여 은닉 상태 시퀀스를 생성한다.
• 표준 RNN과 새로운 주목적 순환 네트워크(ARN)를 사용하여 순환 인코더를 구현하며, ARN은 주목적을 통해 추출된 특징 벡터를 기반으로 표현을 반복적으로 개선한다.
• 잔차 연결을 통해 순환 인코더의 출력을 트랜스포머 디코더에 공급하며, 통합 전략은 깊이와 레이어 연결 방식에 따라 다양하다.
• 표준 트랜스포머 인코더와 순환 인코더의 표현을 융합하기 위해 게이팅 퓨전 메커니즘을 사용하여 탐색 작업을 수행한다.
• 표준 트랜스포머 학습 프rotocol를 사용하여 WMT14 영어→독어 및 WMT17 중국어→영어 번역 작업에서 모델을 훈련시킨다.
• 학습된 인코더 출력의 문법적 및 의미적 표현 품질을 평가하기 위해 언어학적 탐색 작업을 수행한다.

실험 결과

연구 질문

• RQ1 순환 인코더를 추가함으로써 트랜스포머 모델의 번역 성능이 향상되는가?
• RQ2 제안된 주목적 순환 네트워크(ARN)가 트랜스포머 내에서 순환성을 더 효과적으로 모델링하는가?
• RQ3 순환 인코더의 깊이가 모델 성능에 어떤 영향을 미치는가?
• RQ4 다양한 통합 전략(예: 단일 레이어 대 비대칭, 최상위 레이어 대 모든 레이어 공급)이 번역 품질에 어떤 영향을 미치는가?
• RQ5 순환 인코더에서 유도된 표현이 더 정보가 풍부한 언어학적 특징, 특히 문법적 구조를 얼마나 잘 포착하는가?

주요 결과

• 제안된 모델은 WMT14 영어→독어 및 WMT17 중국어→영어 번역 작업 모두에서 BLEU 점수를 일관되게 향상시킨다.
• 단일 레이어 ARN 구현체가 더 깊은 ARN 및 RNN 버전보다 뛰어나며, 얕은 순환 구조가 더 효과적임을 시사한다.
• 최단경로 통합 전략—즉, 순환 인코더 출력을 디코더의 최상위 레이어에만 공급하는 방식—이 가장 뛰어난 성능을 기록하며, 더 깊거나 넓은 통합 전략을 능가한다.
• 언어학적 탐색 작업 결과, 특히 ARN를 사용한 모델이 'TrDep'와 'Toco'와 같은 문법적 구조 태스크에서 정확도가 크게 향상됨을 확인하였다.
• 1레이어 ARN 버전은 'WC'와 'SoMo'와 같은 표면 수준의 탐색 태스크에서 성능 향상을 보이며, 어휘 수준 및 의미 표현 학습 능력 향상을 시사한다.
• ARN를 사용한 모델는 모든 탐색 태스크에서 베이스라인 트랜스포머보다 높은 정확도를 기록하여 더 정보가 풍부하고 구조화된 표현을 학습함을 확인한다.