[논문 리뷰] A Practical Survey on Faster and Lighter Transformers

Quentin Fournier, Gaétan Marceau Caron외 1명|arXiv (Cornell University)|2021. 03. 26.

Real-time simulation and control systems인용 수 13

한 줄 요약

이 종합적 서베이는 변형기 모델의 가속화 및 압축을 위한 기법들을 포괄적으로 분석하며, 혼합 정밀도 학습과 기울기 체크포인팅과 같은 일반적인 효율성 기법부터 Longformer, Reformer, Linformer, Performer와 같은 저복잡도 아키텍처에 이르기까지 다룹니다. 모델 용량, 계산량, 메모리 간의 상충 관계를 바탕으로 한 실용적인 방법 선택 가이드를 제공하며, 실제 운영 환경에 적합한 사전 학습 모델과 효율적인 학습 관행을 강조합니다.

ABSTRACT

Recurrent neural networks are effective models to process sequences. However, they are unable to learn long-term dependencies because of their inherent sequential nature. As a solution, Vaswani et al. introduced the Transformer, a model solely based on the attention mechanism that is able to relate any two positions of the input sequence, hence modelling arbitrary long dependencies. The Transformer has improved the state-of-the-art across numerous sequence modelling tasks. However, its effectiveness comes at the expense of a quadratic computational and memory complexity with respect to the sequence length, hindering its adoption. Fortunately, the deep learning community has always been interested in improving the models' efficiency, leading to a plethora of solutions such as parameter sharing, pruning, mixed-precision, and knowledge distillation. Recently, researchers have directly addressed the Transformer's limitation by designing lower-complexity alternatives such as the Longformer, Reformer, Linformer, and Performer. However, due to the wide range of solutions, it has become challenging for researchers and practitioners to determine which methods to apply in practice in order to meet the desired trade-off between capacity, computation, and memory. This survey addresses this issue by investigating popular approaches to make Transformers faster and lighter and by providing a comprehensive explanation of the methods' strengths, limitations, and underlying assumptions.

연구 동기 및 목표

• 표준 변형기에서 높은 계산 및 메모리 복잡도로 인해 자원이 제한된 환경에서의 구현이 제한되는 문제를 해결하기 위해.
• 혼합 정밀도 학습, 기울기 체크포인팅, 프루닝, 지식 정복과 같은 일반적인 효율성 기법들을 다양한 시나리오에서 평가하고 비교하기 위해.
• 저복잡도 변형기 변형(예: Longformer, Reformer, Linformer, Performer)의 기초 가정, 강점 및 한계를 분석하기 위해.
• 작업 요구사항과 자원 제약 조건에 따라 가장 적합한 효율성 전략을 선택하는 데 도움이 되는 실질적인 권고 사항을 연구자 및 실무자에게 제공하기 위해.
• 효율적인 변형기의 광범위한 영향, 즉 접근성 향상, 환경 비용 감소, 적용 분야 확장 등을 강조하기 위해.

제안 방법

• 변형기 효율성에 초점을 맞춘 30개 이상의 기법 및 아키텍처에 대한 체계적 리뷰 및 분류.
• 일般적인 신경망 최적화(예: 혼합 정밀도, 프루닝, 정복)와 주의 복잡도를 감소시킨 전용 변형기 변형으로 기법을 분류.
• 저복잡도 모델의 아키텍처적 가정 분석, 예를 들어 Longformer의 희소 주의, Performer의 커널 근사, Linformer의 낮은 랭크 분해 등.
• 모델 표현력, 추론 속도, 메모리 사용량, 학습 안정성 간의 상충 관계를 기법 간 비교 분석.
• 실험적 벤치마크와 이론적 복잡도 분석을 활용한 기법 비교, 성능 지표로 상대적 유효 컨텍스트 길이(RECL) 사용.
• 작업 특성에 기반한 권고 프레임워크: 자원이 제한된 환경에서는 사전 학습 모델을, 처음부터 학습하는 경우 혼합 정밀도와 기울기 체크포인팅의 하이브리드 사용.

실험 결과

연구 질문

• RQ1 혼합 정밀도, 기울기 체크포인팅과 같은 일반적인 효율성 기법 중에서 최소한의 구현 비용으로 가장 실용적인 이점을 제공하는 것은 무엇인가요?
• RQ2 Reformer, Performer와 같은 전용 저복잡도 변형기 변형은 성능을 유지하면서 어떻게 주의 복잡도를 줄일 수 있나요?
• RQ3 각 저복잡도 변형기 아키텍처의 핵심 가정과 한계는 무엇이며, 언제 선호되어야 할까요?
• RQ4 효율성 기법은 모델 스케일링과 어떻게 상호작용하며, 일반화 능력을 훼손하지 않고도 작은 모델의 효과적인 학습을 가능하게 할 수 있나요?
• RQ5 효율적인 변형기가 연구의 형평성, 환경 지속 가능성, 실세계 적용에 미치는 광범위한 영향은 무엇인가요?

주요 결과

• 혼합 정밀도 학습과 기울기 체크포인팅은 최소한의 엔지니어링 노력으로 메모리와 계산량을 크게 줄일 수 있는 단순하고 효과적이며 광범위하게 적용 가능한 기법으로 권장됩니다.
• 사전 학습 모델이 이용 가능한 경우 강력히 권장되며, 최소한의 학습 비용으로 높은 성능을 제공하고, 처음부터 학습하는 것보다 종종 더 효율적입니다.
• Longformer와 Reformer과 같은 전용 아키텍처는 희소 주의 패턴을 도입함으로써 장거리 컨텍스트 모델링을 가능하게 하여 표준 자기주의보다 더 높은 확장성을 확보합니다.
• Performer와 Linformer는 선형 또는 낮은 랭크 주의 근사를 통해 이차 복잡도를 선형 또는 부분선형으로 줄여, 긴 시퀀스에서의 빠른 추론을 가능하게 합니다.
• 이론적 이점이 있음에도 불구하고 저복잡도 모델은 종종 철저한 초모수 조정이 필요하고, 높은 주의 표현력을 요구하는 작업에서는 성능이 떨어질 수 있습니다.
• 대규모 모델의 확장 추세(예: GPT-3, BERT)는 크기가 클수록 성능 향상이 있음을 시사하지만, 이는 효율성 목표와 충돌합니다. 따라서 지속 가능한 발전을 위해서는 효율적인 아키텍처가 필수적입니다.