[논문 리뷰] Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers

Vukasin Bozic, Danilo Dordevic외 3명|arXiv (Cornell University)|2023. 11. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 IWSLT2017 번역 작업에서 원본 모델 성능을 유지하면서 트랜스포머의 어텐션 메커니즘을 지식 정복을 통해 훈련된 얕은 피드포워드 신경망으로 대체하는 방법을 제안한다. 이를 통해 '어 attention 없는 트랜스포머'가 원본 모델과 유사한 성능을 달성할 수 있음을 입증한다. 주요 발견은 자기어텐션(self-attention)은 효과적으로 모방할 수 있으나, 복잡한 시퀀스 상호작용을 가지는 교차어텐션(cross-attention)은 여전히 큰 도전 과제라는 것이다.

ABSTRACT

This work presents an analysis of the effectiveness of using standard shallow feed-forward networks to mimic the behavior of the attention mechanism in the original Transformer model, a state-of-the-art architecture for sequence-to-sequence tasks. We substitute key elements of the attention mechanism in the Transformer with simple feed-forward networks, trained using the original components via knowledge distillation. Our experiments, conducted on the IWSLT2017 dataset, reveal the capacity of these "attentionless Transformers" to rival the performance of the original architecture. Through rigorous ablation studies, and experimenting with various replacement network types and sizes, we offer insights that support the viability of our approach. This not only sheds light on the adaptability of shallow feed-forward networks in emulating attention mechanisms but also underscores their potential to streamline complex architectures for sequence-to-sequence tasks.

연구 동기 및 목표

• 얕은 피드포워드 네트워크가 트랜스포머의 자기어텐션 및 교차어텐션 메커니즘의 행동을 효과적으로 모방할 수 있는지 조사하기.
• 성능을 저하시키지 않고도 더 단순하고 파rameter 효율적인 피드포워드 네트워크로 어텐션 모듈을 대체할 수 있는지 가능성 평가하기.
• 어 attention 없는 트랜스포머의 엔드 투 엔드 훈련을 방해하는 아키텍처적 및 훈련 제약 조건 규명하기.
• 네트워크 크기와 대체 전략이 번역 품질에 미치는 영향을 BLEU 점수를 사용하여 평가하기.

제안 방법

• 지식 정복을 통해 원본 트랜스포머의 어텐션 레이어에서 유도된 중간 활성값을 모방하도록 얕은 피드포워드 네트워크를 훈련한다.
• 네 가지 다른 대체 전략을 평가한다: 어텐션 레이어 대체(Attention Layer Replacement, ALR), 잔차 연결을 포함한 어텐션 레이어 대체(Attention Layer with Residual Connection Replacement, ALRR), 별도 헤드 레이어 대체(Attention Separate Heads Layer Replacement, ASLR), 인코더 레이어 대체(Encoder Layer Replacement, ELR).
• 동일한 대체 접근 방식을 디코더의 자기어텐션 및 교차어텐션에 확장하며, 다양한 어텐션 유형에 맞게 적응된 아키텍처를 사용한다.
• IWSLT2017 데이터셋에서 다섯 가지 네트워크 크기(XS부터 L까지)에 대해 실험을 수행하며, 주요 평가 지표로 BLEU 점수를 사용한다.
• 원본 트랜스포머가 교사 모델로 기능하여 소프트 레이블과 중간 특징을 제공한다.
• 다양한 언어 번역 작업(E2G, G2E, E2F, F2E)에서 추상화 실험을 수행하여 성능의 안정성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 얕은 피드포워드 네트워크가 트랜스포머의 자기어텐션 메커니즘의 행동을 효과적으로 학습하고 재현할 수 있는가?
• RQ2 어텐션을 피드포워드 네트워크로 대체할 경우 번역 성능이 저하되는가? 만약 그렇다면 어떤 조건에서 그러한 저하가 발생하는가?
• RQ3 왜 디코더에서 교차어텐션은 자기어텐션보다 더 어려운 대체 대상이 되는가?
• RQ4 지식 정복을 통해 어 attention 없는 트랜스포머를 훈련시켜 원본 모델과 동일한 성능을 달성할 수 있는가?
• RQ5 네트워크 크기와 대체 전략이 모델의 효율성과 정확성에 어떤 영향을 미치는가?

주요 결과

• ALR 방법이 성능과 파rameter 효율성의 최적 균형을 달성했으며, 가장 큰 모델(L)이 E2G에서 0.252 BLEU를 기록하여 원본 트랜스포머의 0.257에 매우 가까운 성능을 보였다.
• ALR를 통한 자기어텐션 대체가 모든 데이터셋에서 경쟁적인 결과를 보였으며, L 크기의 모델이 G2E(0.327 vs. 0.324)와 E2F(0.276 vs. 0.276)에서 베이스라인을 초월했다.
• 교차어텐션 대체 시 일관되게 성능 저하가 발생했으며, 가장 큰 모델(L)이 G2E에서 단지 0.134 BLEU를 기록하여 베이스라인보다 훨씬 낮았다.
• ASLR 방법을 통한 인코더 자기어텐션 대체가 거의 베이스라인 수준의 성능(0.252 BLEU, E2G)을 달성하여 헤드 단위의 대체가 가능함을 시사했다.
• 모든 어텐션 메커니즘을 대체한(교차어텐션 포함) 전체 대체 전략은 가장 열악한 성능을 보였으며, L 크기의 모델이 E2G에서 BLEU 점수가 0.105로 급격히 떨어졌다.
• ALRR 및 ELR 방법은 특히 큰 모델에서 성능이 열악했으며, 잔차 연결과 전체 레이어 대체가 훈련 동역학을 해칠 수 있음을 시사했다.