[논문 리뷰] Joint Source-Target Self Attention with Locality Constraints

José A. R. Fonollosa, Noé Casas외 1명|arXiv (Cornell University)|2019. 05. 16.

Natural Language Processing Techniques참고 문헌 19인용 수 19

한 줄 요약

이 논문은 국소화된 주의 창문을 갖춘 공동 소스-타겟 자기주도 주의 트랜스포머 아키텍처를 제안하며, 별도의 인코더-디코더 구성이 필요 없도록 한다. 소스 및 타겟 시퀀스를 연결하여 수신 필드가 제약된 인과적 언어 모델로 훈련함으로써, IWSLT’14 독일어-영어 번역에서 35.7 BLEU의 새로운 최고 성능을 달성하였으며, 이는 이전 방법들보다 최소 0.5 BLEU 포인트 이상 뛰어난 성능이다.

ABSTRACT

The dominant neural machine translation models are based on the encoder-decoder structure, and many of them rely on an unconstrained receptive field over source and target sequences. In this paper we study a new architecture that breaks with both conventions. Our simplified architecture consists in the decoder part of a transformer model, based on self-attention, but with locality constraints applied on the attention receptive field. As input for training, both source and target sentences are fed to the network, which is trained as a language model. At inference time, the target tokens are predicted autoregressively starting with the source sequence as previous tokens. The proposed model achieves a new state of the art of 35.7 BLEU on IWSLT'14 German-English and matches the best reported results in the literature on the WMT'14 English-German and WMT'14 English-French translation benchmarks.

연구 동기 및 목표

• 인코더와 디코더를 하나의 트랜스포머 디코더 블록으로 통합하는 간소화된 신경 기계 번역 아키텍처를 탐색하는 것.
• 자기주도 주의에 국소성 제약을 적용하면 번역 성능이 향상되는지, 동시에 공동 소스-타겟 표현 학습을 유지할 수 있는지 조사하는 것.
• 명시적인 인코더-디코더 주의 메커니즘 없이도 공동 소스-타겟 자기주도 주의 모델이 기존 최고 성능 결과를 뛰어넘을 수 있는지 평가하는 것.
• 국소화된 주의 창문이 IWSLT’14와 같은 저자원 번역 환경에서 일반화 능력과 효율성을 향상시키는지 여부를 규명하는 것.
• 인과적 마스킹을 사용한 자기주도 주의만으로 연결된 소스 및 타겟 시퀀스로부터 학습된 공동 표현의 효과를 검증하는 것.

제안 방법

• 표준 트랜스포머 디코더 아키텍처를 사용하지만, 각 레이어에서 주의의 수신 필드를 고정된 창 크기로 제한하기 위해 국소성 제약을 적용한다.
• 소스 및 타겟 시퀀스를 연결하여 하나의 입력 시퀀스로 모델에 입력하며, 소스 및 타겟 세그먼트에 대해 별도의 위치 임베딩과 언어별 토큰 임베딩을 사용한다.
• 모델은 인과적 언어 모델로 훈련되어, 전체 소스 시퀀스와 이전에 생성된 타겟 토큰에 조건화된 자동회귀적으로 타겟 토큰을 예측한다.
• 국소 주의는 각 헤드의 주의를 각 토큰 주변의 슬라이딩 윈도우 크기 w로 제한함으로써 구현되며, 윈도우 크기는 입력에서 출력 레이어로 갈수록 점진적으로 증가한다.
• 위치 임베딩은 사인 함수로 초기화되며, 언어 임베딩는 훈련 중에 학습되어 소스 및 타겟 세그먼트를 구분한다.
• 배치 크기와 훈련 스텝 수를 데이터셋별로 조정하여, Adam 옵timizer를 사용해 엔드 투 엔드로 훈련하며, 선형 웜업과余弦 학습률 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 명시적인 인코더-디코더 아키텍처 없이도 공동 소스-타겟 자기주도 주의 모델이 경쟁력 있거나 우수한 번역 성능을 달성할 수 있는가?
• RQ2 자기주도 주의에 국소성 제약을 적용하면, 특히 IWSLT’14와 같은 저자원 설정에서 번역 품질이 향상되는가?
• RQ3 표준 벤치마크에서 국소화된 공동 자기주도 주의 모델의 성능이 비제약 버전 및 기존 SOTA 모델과 비교해 어떻게 되는가?
• RQ4 연결된 시퀀스로부터 학습된 공동 소스-타겟 표현이 일반화 능력과 모델 용량을 얼마나 향상시키는가?
• RQ5 제안된 아키텍처가 WMT 벤치마크에서 Dynamic Convolutions 및 트랜스포머 변종과 같은 최고 성능 모델의 성능을 따라하거나 뛰어넘을 수 있는가?

주요 결과

• 제안된 국소화된 공동 자기주도 주의 모델은 IWSLT’14 독일어-영어 번역 벤치마크에서 35.7 BLEU의 새로운 최고 성능을 달성하였으며, 이는 이전 최고 기록보다 최소 0.5 BLEU 포인트 이상 뛰어난 성능이다.
• IWSLT’14 de-en에서 국소성 제약이 있는 모델은 비제약 공동 자기주도 주의 기반 모델보다 0.4 BLEU 포인트 향상되었으며, 저자원 설정에서 국소화된 주의의 이점이 입증되었다.
• WMT’14 영어-독일어 벤치마크에서는 문헌에 보고된 최고 성능과 일치하는 28.5 BLEU 점수를 기록하였으며, 이는 이전 SOTA 모델들과 일관된 결과이다.
• WMT’14 영어-프랑스어에서는 43.3 BLEU 점수를 기록하여 새로운 SOTA 성능을 달성하였으며, 이는 이전 결과를 초월하고 Wu 등(2019) 및 Ott 등(2018)이 보고한 최고 점수와 일치한다.
• 대규모 WMT 벤치마크에서는 국소성 제약이 성능 향상에 크게 기여하지 않지만, 저자원 설정에서는 뚜렷한 성능 향상을 보이며 데이터 부족 상황에서 강력한 인도적 편향을 제공함을 시사한다.
• 명시적인 인코더-디코더 구조 없이도 공동 자기주도 주의 모델이 경쟁적인 성능을 달성하여, 자기주도 주의를 통한 공동 소스-타겟 표현 학습의 효과성을 검증한다.