[논문 리뷰] Big Bird: Transformers for Longer Sequences

Manzil Zaheer, Guru Guruganesh외 9명|arXiv (Cornell University)|2020. 07. 28.

Topic Modeling참고 문헌 111인용 수 273

한 줄 요약

Big Bird는 Transformer를 시퀀스 길이에 선형적으로 확장시키는 희소 어텐션 메커니즘을 도입하여 더 긴 컨텍스트 모델링을 가능하게 하며 이론적 보장과 NLP 및 게놈학 작업에서 강한 실험적 이득을 제공합니다.

ABSTRACT

Transformers-based models, such as BERT, have been one of the most successful deep learning models for NLP. Unfortunately, one of their core limitations is the quadratic dependency (mainly in terms of memory) on the sequence length due to their full attention mechanism. To remedy this, we propose, BigBird, a sparse attention mechanism that reduces this quadratic dependency to linear. We show that BigBird is a universal approximator of sequence functions and is Turing complete, thereby preserving these properties of the quadratic, full attention model. Along the way, our theoretical analysis reveals some of the benefits of having $O(1)$ global tokens (such as CLS), that attend to the entire sequence as part of the sparse attention mechanism. The proposed sparse attention can handle sequences of length up to 8x of what was previously possible using similar hardware. As a consequence of the capability to handle longer context, BigBird drastically improves performance on various NLP tasks such as question answering and summarization. We also propose novel applications to genomics data.

연구 동기 및 목표

• 표준 자기-주목의 2차 메모리 병목현상을 긴 시퀀스에 대해 동기부여하고 해결합니다.
• 전역 토큰, 로컬 윈도우 어텐션, 임의 연결을 결합한 희소 어텐션 메커니즘을 제안합니다.
• 희소-어텐션 트랜스포머의 보편 근사 및 튜링 완전성 속성을 증명합니다.
• 긴 컨텍스트 NLP 작업(QA, 요약) 및 게놈학 응용에서 실험적 이득을 보여줍니다.
• 이론과 실천에서 희소 어텐션의 시사점과 한계를 탐구합니다.

제안 방법

• 각 토큰 i에서 이웃 N(i)로의 어텐션을 포함하는 방향 그래프 D에 대해 일반화된 희소 어텐션을 정의합니다.
• 세 가지 구성요소를 사용합니다: 모든 토큰을 대상으로 하는 g 전역 토큰, 너비 w의 로컬 윈도우 어텐션, 그리고 r 임의 어텐션 연결.
• 표현력을 보존하기 위해 전역 토큰이 추가된 Big Bird 변형들(BigBird-itc 및 BigBird-etc)을 제시합니다.
• 희소-어텐션 인코더가 시퀀스-투-시퀀스 함수의 보편 근사자이며 희소 인코더-디코더 트랜스포머가 튜링 완전하다는 것을 증명합니다.
• 전체 어텐션의 이차 복잡도와 대조적으로 선형적 n에 대한 어텐션을 보이는 복잡도 분석을 제시합니다.
• 더 긴 컨텍스트를 가진 MLM, QA 벤치마크, 장문 요약 및 게놈학 작업에서의 사전 학습에 대한 경험적 결과를 제시합니다.

실험 결과

연구 질문

• RQ1 희소 어텐션이 계산 비용과 메모리 비용을 줄이면서도 전체 이차 어텐션의 실험적 이점을 달성할 수 있는가?
• RQ2 희소-어텐션 트랜스포머가 전체 트랜스포머의 표현력(보편 근사 및 튜링 완전성)을 유지하는가?
• RQ3 Big Bird가 효과적으로 모델링할 수 있는 컨텍스트의 양은 얼마나 되며, 로컬이나 임의 어텐션만 사용하는 경우와의 트레이드오프는 무엇인가?
• RQ4 장문 컨텍스트 모델이 고정 길이 컨텍스트 모델에 비해 QA, 요약, 게놈학 작업에서 성능을 개선하는가?

주요 결과

• Big Bird는 어텐션 복잡도를 O(n)으로 줄이고 유사한 하드웨어에서 이전 방법보다 최대 8배 긴 시퀀스를 처리할 수 있습니다.
• 전역 토큰을 가진 희소 어텐션은 보편적 함수 근사 특성을 보존하며 튜링 완전합니다.
• Big Bird는 더 긴 컨텍스트를 사용하여 QA 및 요약 벤치마크에서 최첨단 또는 강력한 결과를 달성합니다.
• Big Bird를 사용한 긴 컨텍스트 사전 학습은 게놈학에서 프로모터 영역 및 염색질 프로파일 예측을 포함한 다운스트림 작업의 성능을 향상시킵니다.
• 다수의 데이터세트에서 BERT-유사 기준선 및 비교 가능한 방법(Longformer 등)에 비해 실험적 이득이 있습니다.
• 매우 희소한 어텐션에 대한 이론적 하한이 존재하며 특정 작업에 대해 더 많은 계층이 필요함을 시사합니다.