[논문 리뷰] Hybrid Self-Attention Network for Machine Translation

Kaitao Song, Xu Tan외 2명|arXiv (Cornell University)|2018. 11. 01.

Natural Language Processing Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 전이 기반 기계 번역에서 글로벌, 로컬, 왼쪽 및 오른쪽 컨텍스트 어텐션을 작업별 마스크와 압축 게이트를 통해 융합함으로써 성능을 햖थ한 새로운 자기어텐션 메커니즘인 하이브리드 자기어텐션 네트워크(HySAN)를 제안한다. 이 방법은 추가 파ram터를 최소한으로 사용하여 WMT17 중국-영어 번역에서 최대 1.07 BLEU 향상, IWSLT14 독일-영어 번역에서 1.0 BLEU 향상을 달성하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The encoder-decoder is the typical framework for Neural Machine Translation (NMT), and different structures have been developed for improving the translation performance. Transformer is one of the most promising structures, which can leverage the self-attention mechanism to capture the semantic dependency from global view. However, it cannot distinguish the relative position of different tokens very well, such as the tokens located at the left or right of the current token, and cannot focus on the local information around the current token either. To alleviate these problems, we propose a novel attention mechanism named Hybrid Self-Attention Network (HySAN) which accommodates some specific-designed masks for self-attention network to extract various semantic, such as the global/local information, the left/right part context. Finally, a squeeze gate is introduced to combine different kinds of SANs for fusion. Experimental results on three machine translation tasks show that our proposed framework outperforms the Transformer baseline significantly and achieves superior results over state-of-the-art NMT systems.

연구 동기 및 목표

• 표준 자기어텐션의 상대적 위치 순서와 로컬 컨텍스트를 포착하는 데 한계가 있음을 해결하기 위해.
• 특히 모호한 문장 구조에서 토큰의 왼쪽과 오른쪽 컨텍스트를 구분하지 못하는 Transformer의 한계를 개선하기 위해.
• 모델 복잡도를 크게 증가시키지 않으면서 다중 척도의 의미 정보—글로벌, 로컬, 방향성—를 추출함으로써 표현 학습을 향상시키기 위해.
• 다양한 어텐션 브랜치를 통합하면서도 계산 효율성을 유지하는 효율적이고 파ram터가 가벼운 메커니즘을 설계하기 위해.
• 다양한 언어 쌍과 모델 규모에서 뛰어난 번역 성능을 달성하기 위해.

제안 방법

• HySAN 모듈은 다중 병렬 어텐션 브랜치를 도입하여, 각각 다른 마스크를 적용하여 스케일된 도트곱 어텐션을 통해 특정 컨텍스트 정보를 추출한다: 글로벌, 로컬, 왼쪽 컨텍스트, 오른쪽 컨텍스트 표현.
• 각 어텐션 브랜치는 학습 가능한 마스크를 사용하여 어텐션 계산을 특정 공간적 또는 순차적 컨텍스트로 제한함으로써, 장거리 종속성과 로컬 패턴을 모두 포착할 수 있도록 한다.
• 압축 게이트 메커니즘은 입력 특징에 기반한 학습 가능한 가중치 메커니즘을 사용하여 다양한 어텐션 브랜치의 출력을 동적으로 융합함으로써 융합의 관련성을 향상시킨다.
• 이 방법은 표준 Transformer 인코더-디코더 아키텍처에 대한 소량의 수정만으로도 플러그 앤 플레이가 가능하며, 최소한의 파ram터 오버헤드(1% 미만)를 가진다.
• 어텐션 메커니즘은 인코더와 디코더 양쪽 모두에 적용되며, 상대적 위치 인식을 유지하기 위해 위치 임베딩을 유지한다.
• 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 학습하고, Adam 옵tim자와 표준 backpropagation을 통해 최적화한다.

실험 결과

연구 질문

• RQ1 글로벌, 로컬, 방향성 컨텍스트를 융합하는 하이브리드 어텐션 메커니즘이 신경 기계 번역에서 시퀀스 모델링을 향상시킬 수 있는가?
• RQ2 표준 자기어텐션과 비교해 볼 때, 마스킹된 자기어텐션 브랜치는 상대적 위치 및 로컬 종속성 정보를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 압축 게이트 메커니즘은 파ram터 효율적인 방식으로 다양한 어텐션 브랜치 간의 특징 융합을 향상시키는가?
• RQ4 HySAN은 다양한 언어 쌍과 모델 규모에서 번역 성능을 얼마나 향상시키는가?
• RQ5 제안된 방법은 낮은 계산 오버헤드와 최소한의 파ram터 증가로 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 소형 모델 설정에서 IWSLT14 독일-영어 번역 작업에서 HySAN은 Transformer 베이스라인 대비 1.0 BLEU 포인트 향상된 성능을 달성한다.
• WMT14 영어-독일어 작업에서 HySAN은 베이스 모델 설정에서 0.6 BLEU 포인트 향상되었고, 라지 모델 설정에서는 0.4 BLEU 포인트 향상되었다.
• WMT17 중국-영어 번역 작업에서 HySAN은 Transformer 베이스라인 대비 1.07 BLEU 포인트 향상되었으며, 더 복잡한 앙상블 시스템을 뛰어넘는 성능을 달성했다.
• 학습이 20,000 스텝 이후에 기존 베이스라인보다 더 빠르게 수렴하고, 약 85,000 스텝에서 최고 성능에 도달함으로써 학습 역학 향상이 확인되었다.
• 어텐션 시각화 결과, 로컬 및 방향성 어텐션 브랜치가 집중적이고 비균일한 어텐션 패턴을 학습한 것으로 확인되어, 국소적 및 방향성 컨텍스트를 효과적으로 추출할 수 있음을 검증했다.
• 모델 파aram터는 1% 미만으로 증가했고, 계산 오버헤드도 거의 없었으며, 이는 높은 효율성과 확장성임을 보여주었다.