[논문 리뷰] Mask Attention Networks: Rethinking and Strengthen Transformer

Zhihao Fan, Yeyun Gong외 7명|arXiv (Cornell University)|2021. 03. 25.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 변동 가능한, 맥락에 따라 달라지는 마스크를 학습하여 국소적 구조 모델링을 향상시키는 새로운 어텐션 메커니즘인 동적 마스크 어텐션 네트워크(DMAN)를 제안한다. 자기어텐션 네트워크(SAN)와 피드포워드 네트워크(FFN)를 정적 마스크를 가진 특수한 경우로 통합함으로써, 국소적 구조 모델링을 향상시키기 위해 학습 가능한 동적 마스크를 갖춘 DMAN을 도입함으로써, 순차적인 DMAN → SAN → FFN 아키텍처를 통해 신경 기계 번역과 텍스트 요약에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Transformer is an attention-based neural network, which consists of two sublayers, namely, Self-Attention Network (SAN) and Feed-Forward Network (FFN). Existing research explores to enhance the two sublayers separately to improve the capability of Transformer for text representation. In this paper, we present a novel understanding of SAN and FFN as Mask Attention Networks (MANs) and show that they are two special cases of MANs with static mask matrices. However, their static mask matrices limit the capability for localness modeling in text representation learning. We therefore introduce a new layer named dynamic mask attention network (DMAN) with a learnable mask matrix which is able to model localness adaptively. To incorporate advantages of DMAN, SAN, and FFN, we propose a sequential layered structure to combine the three types of layers. Extensive experiments on various tasks, including neural machine translation and text summarization demonstrate that our model outperforms the original Transformer.

연구 동기 및 목표

• 자기어텐션 네트워크(SAN)와 피드포워드 네트워크(FFN)를 정적 마스크를 가진 통합 마스크 어텐션 네트워크(MAN) 프레임워크의 특수한 경우로 재정의한다.
• 텍스트 표현에서 국소적 의존성을 모델링하기 위해 SAN과 FFN의 정적 마스크가 가지는 한계를 규명한다.
• 맥락과 거리에 따라 변화하는 학습 가능한 마스크를 갖춘 동적 마스크 어텐션 네트워크(DMAN)를 제안하여 국소적 구조를 더 잘 포착한다.
• DMAN, SAN, FFN의 강점을 상호보완적으로 조합하기 위한 새로운 순차적 아키텍처인 DMAN → SAN → FFN을 설계한다.
• 신경 기계 번역과 개괄적 텍스트 요약 작업에서 제안된 모델을 실증적으로 검증한다.

제안 방법

• 어텐션을 키-쿼리 어텐션 행렬과 마스크 행렬의 원소별 곱으로 계산하는 마스크 어텐션 네트워크(MAN)로 SAN과 FFN을 재구성한다.
• SAN의 마스크 행렬을 전부 1인 행렬로, FFN의 마스크 행렬을 항등행렬로 정의하여, 이들이 MAN의 특수한 경우임을 확립한다.
• 쿼리 맥락과 상대적 토큰 거리에 따라 동적으로 적응하는 학습 가능한 마스크 행렬을 갖춘 DMAN을 제안하여 인접 토큰에 더 강한 어텐션을 집중시킨다.
• 순차적 아키텍처인 DMAN → SAN → FFN을 설계하여, DMAN이 먼저 국소적 맥락 모델링을 향상시키고, SAN이 장거리 의존성을 포착하며, FFN이 비선형 변환을 수행하도록 한다.
• 표준 트랜스포머 목적함수를 사용하여 모델을 엔드 투 엔드로 훈련하고, 동적 마스크를 활용해 윈도우 기반 맥락에서 근접한 토큰에 더 강하게 어텐션을 집중시킨다.
• 윈도우 크기 $w$ 내에서 어텐션 점수 기여도를 계산하며, $attn\_s_{w,l,*}$ 를 사용해 국소적 어텐션 효과를 정량화한다.

실험 결과

연구 질문

• RQ1 자기어텐션 네트워크(SAN)와 피드포워드 네트워크(FFN)를 어떻게 통합된 프레임워크 아래에서 체계적으로 통합할 수 있는가?
• RQ2 SAN과 FFN에서 정적 마스크 행렬이 텍스트 표현의 국소적 의존성을 모델링하는 데 어떤 한계를 가지는가?
• RQ3 학습 가능한 동적 마스크 메커니즘이 전역 모델링 능력을 희생시키지 않고 트랜스포머의 국소적 구조 모델링을 향상시킬 수 있는가?
• RQ4 DMAN, SAN, FFN을 최적의 조합으로 조합하여 NLP 작업에서 성능을 극대화하기 위한 최적의 아키텍처 조합은 무엇인가?
• RQ5 제안된 DMAN 메커니즘이 표준 자기어텐션에 비해 얼마나 더 많은 어조에 인접 토큰에 어텐션을 집중시키는가?

주요 결과

• IWSLT14 De-En 테스트 세트의 레이어 1에서 윈도우 크기가 2인 DMAN은 SAN보다 인접 토큰에 대해 어텐션 점수 기여도가 50% 높으며, 일부 경우에서는 최대 5배의 격차를 보였다.
• 윈도우 크기가 4일 때, DMAN은 레이어 1에서 95.09%의 어텐션 점수 기여도를 기록했고, SAN은 단지 30.38%에 그쳤다. 이는 국소적 어텐션 모델링 능력이 뛰어나다는 것을 보여준다.
• 제안된 DMAN → SAN → FFN 아키텍처는 신경 기계 번역과 개괄적 텍스트 요약 작업에서 원본 트랜스포머를 능가하는 성능을 보였다.
• DMAN의 동적 마스크는 간접적으로 관련이 없는 비인접 토큰의 어텐션 점수를 억제함으로써 이들의 노이즈를 효과적으로 감소시켰다.
• 어텐션 점수 분석 결과, DMAN은 특히 국소 패턴이 중요한 초기 레이어에서 SAN보다 훨씬 더 높은 어텐션을 윈도우 내 토큰에 집중시킴을 확인했다.
• 모델의 성능 향상 요인은 DMAN이 국소 맥락을 적응적으로 강조하면서도 SAN의 전역 모델링 능력과 FFN의 비선형 변환 능력을 유지할 수 있었기 때문임을 확인했다.