[논문 리뷰] LiteTransformerSearch: Training-free Neural Architecture Search for Efficient Language Models

Mojan Javaheripi, Gustavo Henrique de Rosa외 7명|arXiv (Cornell University)|2022. 03. 04.

Topic Modeling인용 수 5

한 줄 요약

LiteTransformerSearch는 추론 속도와 메모리 사용량을 고려한 효율적인 순차적 Transformer 아키텍처를 찾기 위해 디코더 파라미터 수를 퍼플렉서티와 높은 상관관계를 가지는 프록시로 사용하는 학습 비용이 없는 신경망 아키텍처 탐색(NAS) 방법을 제안한다. 이는 타깃 장치에서 직접 하드웨어 인식 모델 탐색을 가능하게 하며, 기준 모델 대비 최대 2.5배 빠른 추론 속도와 2.0배 낮은 메모리 사용량을 달성하면서도 14개 작업에서 성능을 유사하거나 초월한다. 지연 시간은 1.6배 감소한다.

ABSTRACT

The Transformer architecture is ubiquitously used as the building block of large-scale autoregressive language models. However, finding architectures with the optimal trade-off between task performance (perplexity) and hardware constraints like peak memory utilization and latency is non-trivial. This is exacerbated by the proliferation of various hardware. We leverage the somewhat surprising empirical observation that the number of decoder parameters in autoregressive Transformers has a high rank correlation with task performance, irrespective of the architecture topology. This observation organically induces a simple Neural Architecture Search (NAS) algorithm that uses decoder parameters as a proxy for perplexity without need for any model training. The search phase of our training-free algorithm, dubbed Lightweight Transformer Search (LTS), can be run directly on target devices since it does not require GPUs. Using on-target-device measurements, LTS extracts the Pareto-frontier of perplexity versus any hardware performance cost. We evaluate LTS on diverse devices from ARM CPUs to NVIDIA GPUs and two popular autoregressive Transformer backbones: GPT-2 and Transformer-XL. Results show that the perplexity of 16-layer GPT-2 and Transformer-XL can be achieved with up to 1.5x, 2.5x faster runtime and 1.2x, 2.0x lower peak memory utilization. When evaluated in zero and one-shot settings, LTS Pareto-frontier models achieve higher average accuracy compared to the 350M parameter OPT across 14 tasks, with up to 1.6x lower latency. LTS extracts the Pareto-frontier in under 3 hours while running on a commodity laptop. We effectively remove the carbon footprint of hundreds of GPU hours of training during search, offering a strong simple baseline for future NAS methods in autoregressive language modeling.

연구 동기 및 목표

• 엣지 및 실시간 응용 프로그램을 위한 효율적인 Transformer 아키텍처를 찾는 데 있어 퍼플렉서티, 지연 시간, 메모리 사용량을 균형 있게 조절하는 도전 과제를 해결하기 위해.
• NAS 동안 높은 비용이 드는 학습 과정을 제거하기 위해 모델 성능을 위한 학습 비용이 없는 프록시를 식별하기 위해.
• 작업 성능과 하드웨어 제약 조건을 동시에 최적화하는 장치 내 다중 목표 NAS를 가능하게 하기 위해.
• 수백 시간에 이르는 GPU 학습을 피하여 NAS의 탄소 발자국을 줄이기 위해.
• 향후 순차적 언어 모델링을 위한 간단하고 확장 가능한 기준 모델을 제공하기 위해.

제안 방법

• 다양한 Transformer 아키텍처에서 디코더 파라미터 수와 퍼플렉서티 간의 경험적 상관관계를 활용하여, 모델 순위 매기기의 0비용 프록시로 사용할 수 있음을 입증한다.
• 진화 알고리즘을 사용한 NAS를 수행하며, 파라미터 수 프록시와 타깃 장치에서의 직접적인 지연 시간 및 최대 메모리 사용량 측정값을 조합한다.
• GPU나 슈퍼넷 학습 없이도 일반 소비자용 하드웨어(예: 노트북)에서 전체 탐색 파이프라인을 실행한다.
• 퍼플렉서티, 지연 시간, 메모리 활용도를 동시에 최적화하는 모델의 파레토 경계를 구성한다.
• 각 Transformer 레이어가 다를 수 있는 히터로제너스한 탐색 공간을 지원하며, 이는 헤드 수, d_model, d_ff 등의 하이퍼파라미터를 포함한다.
• 탐색 중에 실제 하드웨어 측정값을 사용하여 타깃 장치 정확도를 확보하고 시뮬레이션의 부정확성을 방지한다.

실험 결과

연구 질문

• RQ1 디코더 파라미터 수가 순차적 Transformer에서 퍼플렉서티를 예측하는 데 신뢰할 수 있는 학습 비용이 없는 프록시로 기능할 수 있는가?
• RQ2 이러한 상관관계는 동일한 구조와 다양한 구조를 가진 Transformer 아키텍처 전반에 걸쳐 얼마나 유지되는가?
• RQ3 학습 비용이 없는 NAS 방법이 탐색 비용과 탄소 발자국을 줄이며 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 장치 내 하드웨어 인식 NAS는 실제 배포를 위한 파레토 최적 모델을 효과적으로 식별할 수 있는가?
• RQ5 제안된 방법은 다양한 하드웨어 플랫폼에서 지연 시간, 메모리 사용량, 정확도 측면에서 기존 기준 모델을 능가할 수 있는가?

주요 결과

• 동일한 및 이질적인 탐색 공간 전반에서 디코더 파라미터 수와 퍼플렉서티 간의 순위 상관관계가 높게 유지되며(r > 0.9) 프록시의 신뢰성을 입증한다.
• LiteTransformerSearch는 일반 노트북에서 GPU나 학습 없이도 3시간 이내에 퍼플렉서티, 지연 시간, 메모리 사용량의 3차원 파레토 경계를 완전히 추출한다.
• 16층 GPT-2 및 Transformer-XL에서 동일한 퍼플렉서티를 달성하면서 최대 2.5배 빠른 런타임과 2.0배 낮은 최대 메모리 사용량을 기록한다.
• 제로-샷 및 원-샷 설정에서 LTS 모델은 14개 작업에서 350M 파라미터를 가진 OPT 모델을 능가하며, 평균 정확도는 높이고 최대 1.6배 빠른 지연 시간을 기록한다.
• 수백 시간에 이르는 GPU 학습을 제거하여 NAS의 탄소 발자국을 줄이며, 학습 기반 접근 방식에 대한 지속 가능한 대안을 제공한다.
• 이 방법은 타깃 장치에 원천적으로 배포 가능하여 외부 컴퓨팅 자원 없이도 실시간으로 하드웨어 인식 아키텍처 탐색을 가능하게 한다.