[논문 리뷰] PoNet: Pooling Network for Efficient Token Mixing in Long Sequences

Chao-Hong Tan, Qian Chen외 4명|arXiv (Cornell University)|2021. 10. 06.

Topic Modeling참고 문헌 37인용 수 4

한 줄 요약

PoNet는 장문의 시퀀스에서 효율적인 토큰 믹싱을 가능하게 하기 위해 트랜스포머의 자기주의(self-attention)를 대체하는 선형 복잡도 풀링 네트워크를 제안한다. 다중 해상도 풀링(전역, 세그먼트, 국소 최대 풀링)과 특징 융합을 결합함으로써 PoNet는 Long Range Arena에서 SOTA 성능을 달성하고, BERT의 GLUE 정확도의 95.7%를 기록하며 FNet보다 상대적으로 4.5% 높은 성능을 보였으며, 표준 트랜스포머보다 최대 9배 빠르고 10배 더 메모리 효율적인 성능을 발휘한다.

ABSTRACT

Transformer-based models have achieved great success in various NLP, vision, and speech tasks. However, the core of Transformer, the self-attention mechanism, has a quadratic time and memory complexity with respect to the sequence length, which hinders applications of Transformer-based models to long sequences. Many approaches have been proposed to mitigate this problem, such as sparse attention mechanisms, low-rank matrix approximations and scalable kernels, and token mixing alternatives to self-attention. We propose a novel Pooling Network (PoNet) for token mixing in long sequences with linear complexity. We design multi-granularity pooling and pooling fusion to capture different levels of contextual information and combine their interactions with tokens. On the Long Range Arena benchmark, PoNet significantly outperforms Transformer and achieves competitive accuracy, while being only slightly slower than the fastest model, FNet, across all sequence lengths measured on GPUs. We also conduct systematic studies on the transfer learning capability of PoNet and observe that PoNet achieves 95.7% of the accuracy of BERT on the GLUE benchmark, outperforming FNet by 4.5% relative. Comprehensive ablation analysis demonstrates effectiveness of the designed multi-granularity pooling and pooling fusion for token mixing in long sequences and efficacy of the designed pre-training tasks for PoNet to learn transferable contextualized language representations.

연구 동기 및 목표

• 장문 시퀀스 모델링에서 트랜스포머의 자기주의의 제곱 복잡도 병목을 해결하기 위해.
• 강력한 문맥 모델링 능력을 유지하면서도 효율적이고 확장 가능한 자기주의의 대안을 설계하기 위해.
• 선형 시간 및 메모리 복잡도를 확보하면서도 전이 학습 성능을 향상시키기 위해.
• 풀링 기반 메커니즘이 시퀀스 모델링에서 장거리 의존성을 포괄적으로 포착할 잠재력을 탐색하기 위해.

제안 방법

• 다양한 문맥 수준을 포착하기 위해 전역 집계, 세그먼트 최대 풀링, 국소 최대 풀링을 결합한 다중 해상도 풀링 블록을 도입한다.
• 학습 가능한 투영 행렬을 통해 풀링된 표현을 융합하여 각 토큰당 통합된 출력 특징을 생성한다.
• 풀링된 특징을 각 입력 토큰에 다시 통합하기 위해 잔차 연결을 적용하여 표현을 향상시킨다.
• 모든 풀링 유형에 공유된 선형 투영을 사용하여 파라미터 효율성을 유지한다.
• 다양한 풀링 유형의 기여도를 동적으로 가중하기 위해 풀링 융합 레이어에 문맥 기반 결정 메커니즘을 도입한다.
• 스트리밍 또는 자동회귀 작업을 위한 O(N) 복잡도를 유지하기 위해 순환적 평균 및 최대 풀링 업데이트를 통해 인과주의를 지원한다.

실험 결과

연구 질문

• RQ1 풀링 메커니즘이 선형 복잡도로 장거리 의존성을 효과적으로 모델링하는 데 자기주의를 대체할 수 있는가?
• RQ2 다양한 시퀀스 길이에서 다중 해상도 풀링이 자기주의와 비교해 계층적 문맥 정보를 얼마나 잘 포착하는가?
• RQ3 풀링 기반 아키텍처가 표준 NLP 벤치마크에서 BERT의 전이 학습 성능을 어느 정도 재현할 수 있는가?
• RQ4 학습 가능한 가중치를 사용한 풀링 융합은 단순 평균화나 연결보다 표현 품질을 향상시키는가?
• RQ5 PoNet는 O(N) 복잡도를 손상시키지 않고도 인과주의 설정에서 효율성과 성능을 유지할 수 있는가?

주요 결과

• PoNet는 BERT의 GLUE 벤치마크 정확도의 95.7%를 기록하며, FNet보다 상대적으로 4.5% 높은 성능을 보여 전이 학습 능력이 뛰어나다는 것을 입증한다.
• Long Range Arena 벤치마크에서 PoNet는 표준 트랜스포머보다 정확도를 +2.28 점수(상대적 3.9%) 향상시켰으며, 최대 9배 빠른 추론 속도와 10배 더 적은 메모리 사용량을 기록했다.
• 제거 실험 결과 다중 해상도 풀링과 풀링 융합이 성능 향상에 필수적임을 확인하였으며, 제거 시 정확도가 최대 5.2% 감소하였다.
• 단일 문장 및 장문 시퀀스 작업 모두에서 경쟁적인 성능을 유지하며, CoLA 및 MLM 등에서 강력한 문장 인코딩 능력을 보였다.
• 자기주의 유사 전역 집계(SS-GA)를 제거해도 성능 저하가 최소한이었으며, 더 단순한 순환적 평균 기반 전역 풀링이 효율성과 성능을 유지하는 데 기여함을 시사한다.
• 순환적 업데이트를 활용해 평균 및 최대 연산을 처리함으로써 PoNet는 스트리밍 응용을 위한 O(N) 복잡도를 유지하면서도 인과주의를 지원한다.