[논문 리뷰] Convolutional Self-Attention Network

Baosong Yang, Longyue Wang외 3명|arXiv (Cornell University)|2018. 10. 31.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 추가적인 파rameter를 추가하지 않고 국소적 이웃 관계 의존성과 다중 어텐션 헤드 간 상호작용을 모델링함으로써 자기어텐션 네트워크를 향상시키는 컨볼루션(Self-Attention) 네트워크(CSAN)를 제안한다. WMT14 영어-독어 번역 작업에서 CSAN은 트랜스포머 기준선과 이전의 자기어텐션의 국소성 향상에 초점을 맞춘 방법들을 모두 능가한다.

ABSTRACT

Self-attention network (SAN) has recently attracted increasing interest due to its fully parallelized computation and flexibility in modeling dependencies. It can be further enhanced with multi-headed attention mechanism by allowing the model to jointly attend to information from different representation subspaces at different positions (Vaswani et al., 2017). In this work, we propose a novel convolutional self-attention network (CSAN), which offers SAN the abilities to 1) capture neighboring dependencies, and 2) model the interaction between multiple attention heads. Experimental results on WMT14 English-to-German translation task demonstrate that the proposed approach outperforms both the strong Transformer baseline and other existing works on enhancing the locality of SAN. Comparing with previous work, our model does not introduce any new parameters.

연구 동기 및 목표

• 자기어텐션 네트워크에서 일반적으로 국소적이지 않은 전역 어텐션 패턴에 국한되어 있는 국소적 의존성의 모델링을 향상시키기 위해.
• 추가적인 학습 가능한 파rameter를 도입하지 않고 자기어텐션 메커니즘 내에서 다중 어텐션 헤드 간의 상호작용을 가능하게 하기 위해.
• 계산 효율성과 파rameter 효율성을 유지하면서 자기어텐션 네트워크의 표현 능력을 향상시키기 위해.
• 자기어텐션 메커니즘에 국소적 인덕티브 바이어스를 통합하여 시퀀스 모델링 작업, 특히 신경 기계 번역에서 더 나은 성능을 달성하기 위해.

제안 방법

• 이웃 토큰 간의 국소적 공간적 의존성을 명시적으로 모델링하기 위해 컨볼루션 모듈을 자기어텐션 메커니즘에 통합한다.
• 쿼리, 키, 밸류 표현에 컨볼루션 연산을 적용하여 국소적 맥락을 통합하도록 스케일드 도트-프로덕트 어텐션 메커니즘을 수정한다.
• 다양한 헤드의 특징 맵을 연결하고 공유된 컨볼루션 레이어를 통해 처리함으로써 다중 어텐션 헤드 간의 상호작용을 가능하게 한다.
• 기존 파arameter를 재사용하고 추가 선형 투영이나 어텐션 헤드를 방지함으로써 자기어텐션 메커니즘의 원래 파arameter 수를 유지한다.
• 깊이 분리형 컨볼루션을 적용하여 계산 효율성을 유지하면서 어텐션 공간 내의 국소 패턴을 포착한다.
• 학습 안정성과 기울기 흐름 유지의 목적으로 잔차 연결 구조를 적용한다.

실험 결과

연구 질문

• RQ1 추가 파arameter 없이 자기어텐션 네트워크에 국소적 인덕티브 바이어스를 효과적으로 통합할 수 있는가?
• RQ2 다중 어텐션 헤드 간의 상호작용을 모델링하면 시퀀스 모델링 작업 성능에 어떻게 기여하는가?
• RQ3 제안된 컨볼루션 자기어텐션 메커니즘은 기존의 표준 자기어텐션 및 국소성 향상 버전보다 기계 번역 벤치마크에서 승리하는가?
• RQ4 컨볼루션 연산의 통합이 어텐션 메커니즘 내 시퀀스 의존성 모델링에 얼마나 기여하는가?

주요 결과

• 제안된 CSAN 모델은 표준 트랜스포머 기준선보다 WMT14 영어-독어 번역 작업에서 뛰어난 성능을 달성한다.
• 자기어텐션 네트워크의 국소적 의존성 모델링 능력이 향상된 다른 기존 방법들보다 CSAN이 뛰어난 성능을 보이며, 국소적 의존성에 대한 더 강력한 모델링 능력을 입증한다.
• 모델은 원래 트랜스포머와 동일한 파arameter 수를 유지함으로써 성능 향상이 아키텍처의 파arameter 증가 없이 달성되었음을 시사한다.
• 컨볼루션 연산의 통합은 이웃 토큰 간의 상호작용을 포착함으로써 어텐션 패턴을 향상시켜 더 일관되고 맥락적으로 정확한 예측을 이끌어낸다.