[논문 리뷰] Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures

Gongbo Tang, Matthias Müller외 2명|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 19인용 수 36

한 줄 요약

이 논문은 신경 기계 번역에서 RNN, CNN, 그리고 Transformer의 성능을 평가하기 위해 장거리 의존성 모델링(주어-동사 일치를 통한)과 의미적 특징 추출(의미적 뜻의 해소를 통한) 능력을 테스트한다. 결과적으로, Transformer나 CNN이 RNN보다 장거리 의존성 모델링에서 실증적인 이점이 없음을 보여주지만, 의미적 특징 추출에서는 Transformer가 유의미하게 뛰어나며, 이는 Transformer의 강점이 경로 길이가 아닌 의미 해석에 있음을 시사한다.

ABSTRACT

Recently, non-recurrent architectures (convolutional, self-attentional) have outperformed RNNs in neural machine translation. CNNs and self-attentional networks can connect distant words via shorter network paths than RNNs, and it has been speculated that this improves their ability to model long-range dependencies. However, this theoretical argument has not been tested empirically, nor have alternative explanations for their strong performance been explored in-depth. We hypothesize that the strong performance of CNNs and self-attentional networks could also be due to their ability to extract semantic features from the source text, and we evaluate RNNs, CNNs and self-attention networks on two tasks: subject-verb agreement (where capturing long-range dependencies is required) and word sense disambiguation (where semantic feature extraction is required). Our experimental results show that: 1) self-attentional networks and CNNs do not outperform RNNs in modeling subject-verb agreement over long distances; 2) self-attentional networks perform distinctly better than RNNs and CNNs on word sense disambiguation.

연구 동기 및 목표

• CNN과 Transformer의 짧은 네트워크 경로가 RNN보다 장거리 의존성 모델링을 향상시킨다는 이론적 주장의 실증적 검증
• 비재귀 모델이 NMT에서 뛰어난 성능을 보이는 것이 경로 길이의 이점 때문이 아니라 의미적 특징 추출 능력 향상 때문인지 탐구
• Multi-head attention이 Transformer에서 장거리 현상 모델링에 미치는 영향 평가
• 주어-동사 일치와 의미적 뜻의 해소라는 대조적인 NLP 과제에서 RNN, CNN, Transformer의 성능 비교
• 공통 설정을 사용해 모델 간 차이를 최소화함으로써 아키텍처적 영향을 분리하여 평가

제안 방법

• 연구는 대조적 테스트 세트를 사용한다: 주어-동사 일치에 대한 Lingual97, 의미적 뜻의 해소에 대한 ContraWSD.
• 장거리 의존성 모델링 능력을 평가하기 위해 거리가 증가하는 주어-동사 일치에 대해 모델을 훈련하고 평가한다.
• 의미적 특징 추출 능력을 측정하기 위해 ContraWSD 데이터셋에서 정확도를 사용하여 의미적 뜻의 해소를 평가한다.
• 재귀적, 컨볼루션적, 자기주의적 모델을 동일한 설정(6층 인코더/디코더, 멀티헤드 어텐션, 레이어 정규화)으로 재훈련하여 아키텍처 간 차이를 최소화한다.
• Ablation 연구를 통해 Transformer의 어텐션 헤드 수의 영향을 분석한다.
• BLEU 점수, 퍼플렉서티, 과제별 정확도를 보고하여 아키텍처 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 짧은 경로 길이 이론에 따르면 CNN과 Transformer가 RNN보다 장거리 의존성 모델링에서 뛰어나야 하는데, 실제로 그렇다고 할 수 있는가?
• RQ2 NMT에서 Transformer의 뛰어난 성능이 경로 길이의 이점 때문이 아니라 의미적 특징 추출 능력 향상 때문인가?
• RQ3 멀티헤드 어텐션의 어휘 헤드 수가 Transformer의 장거리 의존성 모델링 능력에 어떻게 영향을 미치는가?
• RQ4 멀티헤드 어텐션과 잔여 연결과 같은 아키텍처 구성 요소가 의미적 뜻의 해소 성능 격차를 설명하는 데 기여하는가?
• RQ5 아키텍처적 차이를 최소화함으로써 RNN, CNN, Transformer의 진정한 강점과 약점을 드러낼 수 있는가?

주요 결과

• Transformer와 CNN이 장거리 거리에서 주어-동사 일치 모델링에서 RNN을 능가하지 못함을 보여, 이론적 경로 길이 가설에 도전함.
• 재훈련된 RNN 모델이 장거리 주어-동사 일치에서 96.9%의 정확도를 기록하여 동일한 설정에서 CNN과 Transformer를 모두 앞서나감.
• Transformer가 의미적 뜻의 해소 과제에서 RNN과 CNN을 크게 앞서며, ContraWSD 벤치마크에서 가장 높은 정확도 기록.
• 멀티헤드 어텐션의 어휘 헤드 수는 장거리 의존성 모델링에 매우 중요하며, 헤드 수가 부족하면 성능 저하 발생.
• 멀티헤드 어텐션, 레이어 정규화, 피드포워드 스케일링과 같은 아키텍처 구성 요소는 WSD 성능 격차에 기여하지만, 조건을 최소화해도 여전히 Transformer가 다른 모델을 앞서나감.
• 연구는 BLEU 점수만으로는 아키텍처의 강점을 이해하기 부족하며, 의존성 모델링과 의미적 특징 추출 간의 상충 관계를 고려해야 한다고 결론 내림.