[논문 리뷰] ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention

Yang Liu, Jiaxiang Liu외 8명|arXiv (Cornell University)|2022. 03. 23.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

ERNIE-Sparse는 희소 어텐션 메커니즘에서 정보 블로킹 민감성과 토폴로지 불일치 문제를 해결하기 위해 계층적 희소 트랜스포머(HST)와 자기 어텐션 정규화(SAR)를 제안한다. 계층적 글로벌 표현을 도입하고, 토폴로지 변화에 걸쳐 출력 일관성을 강제함으로써 장거리 시퀀스 작업에서 최신 기술 수준의 성능을 달성하며, Long Range Arena에서 2.77% 향상되고 QA 벤치마크에서 3.24% 향상된다.

ABSTRACT

Sparse Transformer has recently attracted a lot of attention since the ability for reducing the quadratic dependency on the sequence length. We argue that two factors, information bottleneck sensitivity and inconsistency between different attention topologies, could affect the performance of the Sparse Transformer. This paper proposes a well-designed model named ERNIE-Sparse. It consists of two distinctive parts: (i) Hierarchical Sparse Transformer (HST) to sequentially unify local and global information. (ii) Self-Attention Regularization (SAR) method, a novel regularization designed to minimize the distance for transformers with different attention topologies. To evaluate the effectiveness of ERNIE-Sparse, we perform extensive evaluations. Firstly, we perform experiments on a multi-modal long sequence modeling task benchmark, Long Range Arena (LRA). Experimental results demonstrate that ERNIE-Sparse significantly outperforms a variety of strong baseline methods including the dense attention and other efficient sparse attention methods and achieves improvements by 2.77% (57.78% vs. 55.01%). Secondly, to further show the effectiveness of our method, we pretrain ERNIE-Sparse and verified it on 3 text classification and 2 QA downstream tasks, achieve improvements on classification benchmark by 0.83% (92.46% vs. 91.63%), on QA benchmark by 3.24% (74.67% vs. 71.43%). Experimental results continue to demonstrate its superior performance.

연구 동기 및 목표

• 제한된 글로벌 토큰으로 인해 발생하는 희소 트랜스포머의 정보 블로킹 민감성 문제를 해결한다.
• 소량의 입력 변화에 따른 일관성 없는 어텐션 토폴로지로 인한 성능 저하를 줄인다.
• 더 rich한 글로벌 표현을 제공하기 위해 계층적 어텐션 메커니즘을 도입하여 장거리 시퀀스 모델링을 향상시킨다.
• 새로운 정규화 전략을 통해 다양한 어텐션 토폴로지 간에 예측을 안정화시킨다.
• 장문 문서 분류 및 질의응답과 같은 다양한 NLP 작업에서 뛰어난 성능을 입증한다.

제안 방법

• 두 단계 어텐션을 사용하는 계층적 희소 트랜스포머(HST)를 도입한다: 먼저 로컬 토큰이 블록 내에서 어텐션을 수행하고, 그 후 대표 토큰이 글로벌 정보를 집계하고 전파한다.
• 원래 어텐션 토폴로지와 변형된 어텐션 토폴로지 간 출력 차이를 최소화하는 자기어텐션 정규화(SAR)를 설계한다.
• SAR를 적용하기 위해 희소 어텐션 입력의 변형된 버전(예: 한 토큰만큼 이동된)을 샘플링하고, 원본 및 변형된 모델 출력 간의 KL 발산을 최소화한다.
• 계층적 어텐션 헤드와 희소 어텐션 헤드 간에 공유된 선형 가중치를 사용하여 파라미터 효율성과 일관성을 향상시킨다.
• 표준 크로스 엔트로피 손실과 SAR 손실을 조합하여 토폴로지 변형에 대한 강건성을 확보한다.
• 프리트레인-피넷레인 파라다임을 활용하여 텍스트 분류 및 질의응답과 같은 다운스트림 작업에서 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 희소 트랜스포머에서 글로벌 토큰 수가 모델 성능에 미치는 영향은 무엇이며, 계층적 어텐션은 이 블로킹 효과를 완화할 수 있는가?
• RQ2 고정된 어텐션 패턴을 가진 희소 트랜스포머에서 입력 펌터베이션(예: 토큰 이동)이 모델 행동에 미치는 영향은 어느 정도인가?
• RQ3 다양한 어텐션 토폴로지 간 출력 일관성을 강제하는 정규화 전략이 모델의 강건성과 성능 향상에 기여하는가?
• RQ4 제안된 HST 메커니즘은 다양한 시퀀스 길이에서 표준 희소 어텐션과 비교해 장거리 의존성 모델링에 어떻게 우월한가?
• RQ5 SAR를 R-Drop과 같은 다른 정규화 기법과 조합하면 모델 일반화 성능이 더욱 향상되는가?

주요 결과

• ERNIE-Sparse는 Long Range Arena 벤치마크에서 강력한 기준 모델 대비 평균 2.77% 향상된 성능을 기록하며, 57.78% 대비 55.01%를 기록한다.
• 텍스트 분류 작업에서 ERNIE-Sparse는 강력한 기준 모델 대비 정확도를 0.83% 향상시켰다(92.46% 대비 91.63%).
• 질의응답 작업에서 ERNIE-Sparse는 기준 방법 대비 3.24% 향상된 성능을 기록했다(74.67% 대비 71.43%).
• 아블레이션 연구 결과, HST를 제거하면 평균 1.00점 감소하고, ListOps 작업에서는 1.78점 감소함을 확인했다.
• SAR 정규화는 어텐션 토폴로지가 펌터베이션되었을 때 Pathfinder에서 성능 저하를 3.52점 감소시켰다(78.77에서 75.25로). 이는 안정화 효과를 입증한다.
• SAR는 5개 작업 중 3개에서 R-Drop을 능가했으며, 드롭아웃과 상호보완적이며, 함께 사용할 경우 개별 사용보다 더 좋은 성능을 기록했다.