[논문 리뷰] READ: Recurrent Adaptation of Large Transformers

John Nguyen, Sid Wang외 2명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

READ는 고정된 백본을 통해 역전파하지 않고 작업에 맞는 입력에 적응하는 소형 RNN 기반 보조 네트워크를 삽입하여 대규모 트랜스포머에 대한 경량이고 메모리 효율적인 미세조정 방법을 제안한다. 전체 미세조정 대비 훈련 메모리 소비를 56% 감소시키고 GPU 에너지 사용량을 84% 줄였으며, 모델 크기나 추론 지연 시간의 증가 없이도 성능을 유지한다.

ABSTRACT

Fine-tuning large-scale Transformers has led to the explosion of many AI applications across Natural Language Processing and Computer Vision tasks. However, fine-tuning all pre-trained model parameters becomes impractical as the model size and number of tasks increase. Parameter-efficient transfer learning (PETL) methods aim to address these challenges. While effective in reducing the number of trainable parameters, PETL methods still require significant energy and computational resources to fine-tune. In this paper, we introduce extbf{RE}current extbf{AD}aption (READ) -- a lightweight and memory-efficient fine-tuning method -- to overcome the limitations of the current PETL approaches. Specifically, READ inserts a small RNN network alongside the backbone model so that the model does not have to back-propagate through the large backbone network. Through comprehensive empirical evaluation of the GLUE benchmark, we demonstrate READ can achieve a $56\%$ reduction in the training memory consumption and an $84\%$ reduction in the GPU energy usage while retraining high model quality compared to full-tuning. Additionally, the model size of READ does not grow with the backbone model size, making it a highly scalable solution for fine-tuning large Transformers.

연구 동기 및 목표

• 모델 크기와 작업 수가 증가함에 따라 미세조정의 높은 계산 및 메모리 비용을 해결한다.
• 큰 백본을 통해 역전파가 필요한 기존의 파rameter 효율적 전이학습(PETL) 방법의 한계를 극복한다. 이는 여전히 상당한 에너지와 메모리 소비를 유발하기 때문이다.
• 이전의 보조 테이닝 방법들인 Ladder-Side Tuning와 마찬가지로 보조 네트워크의 사전학습이 필요로 하는 문제를 제거한다.
• 모델 품질을 유지하면서 훈련 자원 소비를 극적으로 줄이는 확장 가능한 가벼운 솔루션을 개발한다.
• 메모리와 에너지 소비를 최소화하여 자원이 제한된 환경에서 미세조정된 대규모 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 고정된 트랜스포머 백본과 함께 작동하는 작고 학습 가능한 RNN 네트워크(READ)를 보조 네트워크로 삽입하며, 캐시된 중간 활성화 값을 기반으로 작동한다.
• 각 레이어에서 입력 임베딩과 중간 은닉 상태와 같은 여러 정보 소스를 조합하여 RNN 입력으로 사용하기 위해 조인어 네트워크를 사용한다.
• 백본과 READ 네트워크를 별도로 전방향 전파하며, 재계산을 방지하기 위해 중간 표현을 캐시한다.
• 인코더 및 디코더 레이어 전반에 걸쳐 RNN 은닉 상태를 반복적으로 계산한 후, RNN 출력을 백본 출력에 더하여 최종 예측을 생성한다.
• 백본 가중치를 모두 고정하여 파라미터 업데이트와 역전파 비용을 줄이고, 오직 RNN 파라미터와 최종 분류 헤드만 학습한다.
• Ladder-Side Tuning와 달리 보조 네트워크의 사전학습이 필요 없도록, RNN을 직접 초기화하고 처음부터 학습한다.

Figure 1: The normalized energy consumption relative to full-tuning on GLUE tasks.

실험 결과

연구 질문

• RQ1 가벼운 RNN 기반 보조 네트워크는 전체 미세조정과 경쟁 가능한 성능을 달성하면서도 메모리와 에너지 소비를 극적으로 줄일 수 있는가?
• RQ2 보조 테이닝 방법에서 보조 네트워크의 사전학습 필요성을 제거하면 효율성과 확장성에 긍정적인 영향을 미치는가?
• RQ3 READ는 LoRA, 어댑터, 프롬프트 테이닝 등의 기존 PETL 방법들과 비교해 메모리, 에너지, 추론 지연 시간 측면에서 어떻게 성능을 내는가?
• RQ4 READ는 모델 크기나 추론 오버헤드 증가 없이 다양한 NLP 벤치마크(예: GLUE)에서 높은 모델 품질을 유지할 수 있는가?
• RQ5 READ는 대규모 트랜스포머, 특히 3B 파라미터를 가진 T5 모델과 같은 다양한 백본 크기에서 성능과 효율성이 확장 가능한가?

주요 결과

• GLUE 벤치마크에서 전체 미세조정 대비 READ는 피크 훈련 메모리 소비를 56% 감소시켰다.
• 전체 미세조정 대비 READ는 GPU 에너지 사용량을 84% 감소시켜 훈련 비용을 크게 낮췄다.
• 모든 7개의 GLUE 작업에서 경쟁 가능한 모델 정확도를 유지했으며, 전체 미세조정 및 기타 PETL 방법과 비교해 성능을 matching하거나 초월했다.
• READ는 추론 시 지연 시간이나 메모리 오버헤드를 추가하지 않으며, RNN은 훈련 기간 동안만 활성화되기 때문이다.
• READ 네트워크의 크기는 백본 모델 크기에 따라 확장되지 않아 대규모 트랜스포머에 대해 매우 확장 가능하다.
• READ는 Ladder-Side Tuning(LST)보다 효율성과 단순성 측면에서 뛰어나며, 보조 네트워크의 사전학습이 필요 없고 훈련 복잡도를 줄였다.

Figure 2: Comparing READ and other fine-tuning methods over GLUE tasks on training energy and peak training memory relative to full-tuning. The y-axis is the average metric over 7 GLUE tasks. (left) The x-axis is the cumulative training energy in KWh. (right) The x-axis is the GPU peak training memo