[논문 리뷰] Convolutional Self-Attention Networks

Baosong Yang, Longyue Wang외 3명|arXiv (Cornell University)|2019. 04. 05.

Topic Modeling참고 문헌 28인용 수 19

한 줄 요약

이 논문은 자기주의존재 메커니즘의 국소적 의존성과 주어진 헤드 간 기능 상호작용을 모델링하기 위해 1차원 및 2차원 컨볼루션을 도입함으로써 파rameter-free 방법인 컨볼루셔널 세라프티브 어텐션 네트워크(CSANs)를 제안한다. 이 방법은 추가적인 파라미터 없이도 여러 언어 쌍에서 번역 성능을 향상시켜 트랜스포머 기준선 및 기존의 국소성 향상 모델을 능가한다.

ABSTRACT

Self-attention networks (SANs) have drawn increasing interest due to their high parallelization in computation and flexibility in modeling dependencies. SANs can be further enhanced with multi-head attention by allowing the model to attend to information from different representation subspaces. In this work, we propose novel convolutional self-attention networks, which offer SANs the abilities to 1) strengthen dependencies among neighboring elements, and 2) model the interaction between features extracted by multiple attention heads. Experimental results of machine translation on different language pairs and model settings show that our approach outperforms both the strong Transformer baseline and other existing models on enhancing the locality of SANs. Comparing with prior studies, the proposed model is parameter free in terms of introducing no more parameters.

연구 동기 및 목표

• 자기주의존재 네트워크가 전역적 어텐션 분포로 인해 국소적 의존성과 어구 패턴을 포착하는 데에 한계를 가지는 문제를 해결하기 위해.
• 추가적인 파라미터를 도입하지 않고 서로 다른 멀티헤드 어텐션 하위공간에서 학습된 기능 간의 상호작용을 가능하게 하기 위해.
• 동적 컨볼루셔널 어텐션을 통한 국소적 맥락 모델링을 통해 번역 품질과 학습 효율성을 향상시키기 위해.
• 제안된 방법의 일반성과 효과성을 다양한 언어 쌍과 모델 아키텍처에서 검증하기 위해.

제안 방법

• 자기주의존재에서 주변 토큰의 국소 윈도우에 어텐션 범위를 제한하기 위해 1차원 컨볼루션을 도입하여 국소성 모델링을 향상시킨다.
• 토큰 위치와 어텐션 헤드 하위공간 양쪽에 2차원 컨볼루션을 적용하여 인접한 헤드에서 유래한 기능 간의 동적 상호작용을 허용한다.
• 파라미터 없는 컨볼루션을 사용하여 계산 효율성을 유지하고 모델 파라미터를 늘리지 않는다.
• 표준 멀티헤드 자기주의존재 프레임워크 내부에 컨볼루셔널 어텐션 메커니즘을 통합하여, 표준 어텐션 계산을 국소화 및 헤드 간 인식을 고려한 연산으로 대체한다.
• 각 쿼리가 고정 크기의 국소 맥락에만 주목하는 윈도우 기반 어텐션 메커니즘을 사용하며, 이는 컨볼루션 커널 크기를 통해 제어된다.
• 어텐션 계산 중에 헤드 간 기능 상호작용을 가능하게 하기 위해 (토큰 위치, 헤드 인덱스)의 2차원 격자에서 작동하도록 어텐션 메커니즘을 확장한다.

실험 결과

연구 질문

• RQ1 국소 어텐션 모델링은 시퀀스 모델링 작업에서 자기주의존재 네트워크의 성능을 향상시킬 수 있는가?
• RQ2 헤드 간의 동적 컨볼루셔널 상호작용은 독립적인 멀티헤드 어텐션을 초월해 기능 표현을 향상시키는가?
• RQ3 추가적인 학습 가능한 파라미터 없이 국소성 모델링을 달성할 수 있는가?
• RQ4 제안된 방법은 기존의 접근 방식과 비교해 번역 품질과 학습 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 모델은 다양한 언어 쌍과 모델 구성에서 일반적으로 효과적인가?

주요 결과

• 윈도우 크기가 11인 1D-컨볼루셔널 SAN(1D-CSAN)이 WMT14 En→De 검증 세트에서 가장 뛰어난 성능을 기록하며, 다른 윈도우 크기들보다 뛰어나다.
• 2D-컨볼루셔널 SAN(2D-CSAN)은 헤드 간 기능 상호작용을 가능하게 하여 번역 품질을 더욱 향상시키며, 특히 헤드 수가 중간 수준일 경우 두드러진 효과가 있다.
• 제안된 모델은 WMT14 En→De, WMT17 Zh→En, WAT17 Ja→En 세 가지 기계 번역 작업 전반에서 BLEU 점수를 일관되게 향상시켜 그 일반성을 입증한다.
• 기본 설정을 가진 2D-CSAN은 더 큰 Transformer-Big 모델과 비교해 유사한 성능을 기록하여 강력한 효율성과 확장성을 보여준다.
• 모델은 특히 더 큰 n-그램에 대해 어휘 수준의 번역 정확도를 향상시켜 어구 패턴을 포착하는 데의 효과성을 확인한다.
• 기존의 CNN 기반 국소 어텐션 및 기타 파라미터 증가 방법을 초월하면서도, 파라미터 없는 상태를 유지하면서도 효율적인 성능을 기록한다.