[논문 리뷰] Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models

Peijie Dong, Lujun Li외 5명|arXiv (Cornell University)|2024. 06. 05.

Natural Language Processing Techniques인용 수 4

한 줄 요약

Pruner-Zero는 재학습 없이도 대규모 언어 모델을 위한 기호적 프루닝 메트릭을 자동으로 진화시키기 위해 유전적 프로그래밍 기반 프레임워크를 도입한다. 정교하게 구성된 가중치, 기울기, 활성화 연산의 공간을 탐색함으로써 인간의 간섭 없이도 높은 성능을 보이는 메트릭을 발견하며, LLaMA 및 LLaMA-2에서 50% 희박도 조건에서 언어 모델링 및 제로샷 작업에서 기존 최고 수준의 후기훈련 프루닝 방법을 초월한다.

ABSTRACT

Despite the remarkable capabilities, Large Language Models (LLMs) face deployment challenges due to their extensive size. Pruning methods drop a subset of weights to accelerate, but many of them require retraining, which is prohibitively expensive and computationally demanding. Recently, post-training pruning approaches introduced novel metrics, enabling the pruning of LLMs without retraining. However, these metrics require the involvement of human experts and tedious trial and error. To efficiently identify superior pruning metrics, we develop an automatic framework for searching symbolic pruning metrics using genetic programming. In particular, we devise an elaborate search space encompassing the existing pruning metrics to discover the potential symbolic pruning metric. We propose an opposing operation simplification strategy to increase the diversity of the population. In this way, Pruner-Zero allows auto-generation of symbolic pruning metrics. Based on the searched results, we explore the correlation between pruning metrics and performance after pruning and summarize some principles. Extensive experiments on LLaMA and LLaMA-2 on language modeling and zero-shot tasks demonstrate that our Pruner-Zero obtains superior performance than SOTA post-training pruning methods. Code at: \url{https://github.com/pprp/Pruner-Zero}.

연구 동기 및 목표

• 대규모 언어 모델을 위한 효과적인 프루닝 메트릭을 설계하기 위해 요구되는 높은 인간의 노력과 시행착오의 문제를 해결하기 위해.
• 전문 지식에 의존하거나 재학습을 필요로 하지 않고 최적의 프루닝 메트릭을 자동으로 발견함으로써 이를 제거하기 위해.
• 프루닝 메트릭과 후기 프루닝 모델 성능 간의 구조적 및 기능적 상관관계를 탐색하기 위해.
• 후기훈련 프루닝을 위한 기호적 메트릭 진화를 위한 확장 가능하고 형식에 강건하며 다양한 탐색 공간을 개발하기 위해.
• 자동화된 기호적 메트릭 생성을 통해 효율적이고 고성능의 모델 압축을 가능하게 하기 위해.

제안 방법

• 정의된 연산 및 입력의 탐색 공간에서 기반을 두고 기호적 프루닝 메트릭을 진화시키기 위한 유전적 프로그래밍 프레임워크를 설계하였다.
• 입력으로 가중치(W), 기울기(G), 활성화(X)를 포함하며, 절대값, 곱셈, 최소-최대 스케일링, 요소별 함수 등의 단항연산(UOP) 및 이항연산(BOP)이 포함된 탐색 공간이 구성되었다.
• 인구 집단의 다양성을 향상시키고 조기 수렴을 방지하기 위해 대비되는 연산 단순화 전략이 도입되었다.
• 교정 데이터에서 검증 손실을 사용해 후보 메트릭을 평가함으로써, 고성능 메트릭으로 향하는 진화를 이끌었다.
• 선택, 교차, 변이를 통해 기호 표현을 진화시키며, 적합도는 후기 프루닝 모델 성능에 의해 결정되었다.
• 최종 메트릭은 진화 과정에서 가장 뛰어난 개체로부터 유도되었으며, 이후 이는 피팅 튜닝 없이 LLM을 프루닝하는 데 적용되었다.

Figure 1: Overview of the Automatic Symbolic Pruning Metric Discovery Process in our Pruner-Zero framework. This process employs genetic programming to iteratively generate and refine symbolic pruning metrics via tournament selection, subtree crossover, and node mutation. Upon generating offspring,

실험 결과

연구 질문

• RQ1 인간이 설계한 히우리스틱 없이도 자동화된 프레임워크가 LLM에 대해 우수한 프루닝 메트릭을 발견할 수 있는가?
• RQ2 가중치, 기울기, 활성화 연산의 다양한 조합이 프루닝 성능에 어떻게 영향을 미치는가?
• RQ3 기호적 메트릭의 어떤 구조적 특성이 높은 후기 프루닝 모델 정확도와 관련이 있는가?
• RQ4 유전적 프로그래밍이 고차원 공간에서 복잡하고 비선형적인 프루닝 메트릭을 효과적으로 탐색하고 최적화할 수 있는가?
• RQ5 기대되는 메트릭은 기존 최고 수준의 후기훈련 프루닝 방법과 정확도 및 희박도 측면에서 어떻게 비교되는가?

주요 결과

• Pruner-Zero는 기호적 프루닝 메트릭 ||W| × |W|| × σ(|G|)를 발견하여, LLaMA 및 LLaMA-2에서 50% 희박도 조건에서 최고 수준의 성능을 달성하였다.
• 제안된 메트릭은 언어 모델링 및 제로샷 작업 모두에서 기존의 후기훈련 프루닝 방법인 SparseGPT, Wanda, GBLM-Pruner를 뛰어넘는 성능을 보였다.
• 프레임워크는 가중치 크기와 기울기 크기를 조합하고 정규화(σ)를 적용한 메트릭이 뛰어난 성능을 내며, 이는 기울기 민감도와 프루닝 효과성 간의 강한 상관관계를 시사한다.
• 대비되는 연산 단순화 전략은 인구 집단의 다양성을 증가시키고 수렴을 향상시켜 더 견고한 메트릭 발견을 가능하게 하였다.
• 포괄적인 연산 세트를 사용함으로써 형식 민감도가 감소하는 것으로 나타나 탐색 공간 설계의 타당성이 검증되었다.
• 광범위한 아블레이션 분석을 통해 유도된 메트릭은 다양한 데이터셋과 작업에서 뛰어난 성능을 유지하며 일반화 능력을 확인하였다.

Figure 2: Comparison between Evolution Search and Random Search Processes. Notably, the individual perplexity is lower in the evolution search method, leading to significant improvements in the search efficiency and overall stability.