[논문 리뷰] Parameter-Efficient Tuning on Layer Normalization for Pre-trained Language Models

Qi Wang, Yu-Ping Ruan외 2명|arXiv (Cornell University)|2022. 11. 16.

Ferroelectric and Negative Capacitance Devices인용 수 7

한 줄 요약

이 논문은 사전 학습된 언어 모델에서 레이어 정규화(LayerNorm)의 학습 가능한 이득(γ) 및 편향(β) 파라미터만 미세조정하는 파rameter 효율적인 방법인 LN-tuning을 소개한다. 이는 총 학습 가능한 파라미터의 0.1% 미만(특히 0.03%)으로 상태의 최고 성능(SOTA)을 달성하며 높은 학습 효율성을 보인다. 또한, LN-tuning을 프리픽스 템플릿 테크닉과 조합할 경우 통합 어댑터 기반 방법보다 뛰어난 성능을 내는 것으로 밝혀졌다.

ABSTRACT

Conventional fine-tuning encounters increasing difficulties given the size of current Pre-trained Language Models, which makes parameter-efficient tuning become the focal point of frontier research. Previous methods in this field add tunable adapters into MHA or/and FFN of Transformer blocks to enable PLMs achieve transferability. However, as an important part of Transformer architecture, the power of layer normalization for parameter-efficent tuning is ignored. In this paper, we first propose LN-tuning, by tuning the gain and bias term of Layer Normalization module with only 0.03\% parameters, which is of high time-efficency and significantly superior to baselines which are less than 0.1\% tunable parameters. Further, we study the unified framework of combining LN-tuning with previous ones and we find that: (1) the unified framework of combining prefix-tuning, the adapter-based method working on MHA, and LN-tuning achieves SOTA performance. (2) unified framework which tunes MHA and LayerNorm simultaneously can get performance improvement but those which tune FFN and LayerNorm simultaneous will cause performance decrease. Ablation study validates LN-tuning is of no abundant parameters and gives a further understanding of it.

연구 동기 및 목표

• Transformer 아키텍처에서 핵심적인 역할을 하면서도 아직 미처 활용되지 않은 파라미터 효율적 미세조정을 위한 레이어 정규화(LayerNorm)의 잠재적 역할을 탐색하는 것 — 이는 사전 학습된 언어 모델(PLMs)에서의 파라미터 효율적 미세조정에 있어 간과된 영역이다.
• 대규모 PLM에서의 전체 미세조정의 비효율성과 높은 비용 문제를 해결하기 위해, 최소한의 파라미터만 수정하는 경량의 조정 방법을 제안하는 것.
• 기존의 파라미터 효율적 기법들인 프리픽스 템플릿 테크닉과 어댑터 기반 방법을 통합 프레임워크에서 LN-tuning과 융합했을 때의 효과를 조사하는 것.
• 다양한 레이어와 작업에서의 이득 및 편향 항목 변화를 분석하고, 시각화를 통해 LN-tuning의 행동과 영향력을 이해하는 것.

제안 방법

• LayerNorm 모듈에 학습 가능한 이득(γ) 및 편향(β) 파라미터를 도입하는 새로운 방법인 LN-tuning을 제안하며, 이는 모든 다른 PLM 가중치가 동결된 상태에서만 조정된다.
• 각 Transformer 블록의 멀티헤드 어텐션(MHA)과 피드포워드 네트워크(FFN) 이후에 위치한 LayerNorm 레이어에만 LN-tuning을 적용하여, 매우 적은 수의 파라미터 업데이트로도 높은 효율성을 달성한다.
• 프리픽스 템플릿 테크닉과 LN-tuning을 통합된 프레임워크에서 결합하여, MHA의 연속형 프롬프트 벡터와 LayerNorm 파라미터를 함께 최적화한다.
• 각각의 이득 및 편향 항목 기여도를 분석하고, 다양한 레이어와 모델 크기에서의 변화를 분석하기 위해 추론 분석(ablation study)을 실시한다.
• L1 노름을 사용하여 레이어 간 이득 및 편향 항목의 절대 변화량을 추적하는 시각화 기법을 적용한다: $\frac{1}{\text{dim}(\bm{t})}\|\bm{t}_{o}-\bm{t}_{f}\|_{1}$, 이를 통해 미세조정 중 파라미터의 동역학을 이해한다.
• 텍스트 분류, 명명된 실체 인식, 질의 응답 등 다양한 자연어 이해(NLU) 작업을 대상으로 성능을 평가하여 일반화 및 확장성을 검증한다.

실험 결과

연구 질문

• RQ1 레이어 정규화의 이득 및 편향 파라미터는 사전 학습된 언어 모델에서 파라미터 효율적 미세조정에 효과적으로 활용될 수 있는가?
• RQ2 학습 가능한 파라미터의 0.1% 미만을 사용할 때, LN-tuning은 기존의 어댑터 기반 및 프롬프트 템플릿 기반 방법과 비교해 성능 및 효율성 면에서 어떻게 다른가?
• RQ3 LN-tuning을 프리픽스 템플릿 테크닉 또는 어댑터 기반 방법과 융합했을 경우, 하류 작업 성능에 어떤 영향을 미치는가?
• RQ4 왜 MHA와 LayerNorm을 동시에 조정하면 성능 향상이 이루어지지만, FFN과 LayerNorm을 동시에 조정하면 성능 저하가 발생하는가?
• RQ5 학습된 이득 및 편향 파라미터는 레이어, 작업, 모델 크기 간에 어떻게 변화하는가? 이는 이들의 적응 기능을 어떻게 드러내는가?

주요 결과

• LN-tuning은 총 모델 파라미터의 0.03%만 학습 가능한 것으로도 경쟁적인 성능을 달성하며, 파라미터 효율성 측면에서 표준 미세조정 및 다른 파라미터 효율적 방법들을 뛰어넘는다.
• 프리픽스 템플릿 테크닉과 LN-tuning을 통합한 프레임워크는 다양한 NLU 벤치마크에서 최상의 성능을 기록하며, MHA와 FFN을 모두 조정하는 통합 어댑터 기반 방법인 MAM을 초월한다.
• MHA와 LayerNorm을 동시에 조정하면 성능 향상이 이루어지지만, FFN과 LayerNorm을 동시에 조정하면 성능 저하가 발생함을 확인하여, 이 두 구성 요소 간에 부정적인 상호작용이 존재함을 시사한다.
• 더 깊은 레이어(예: 레이어 15–24)에서 LayerNorm의 이득 및 편향 파라미터가 특히 더 큰 변화를 보이며, 이는 더 큰 모델에서 더욱 두드러진다. 이는 후행 레이어가 도메인 및 작업 변화에 더 민감함을 시사한다.
• 파라미터 변화의 정도는 작업의 복잡성과 데이터셋 크기와 관련이 있다: 예를 들어, 질문 응답(CSQA)이나 명명된 실체 인식(Twitter)과 같은 작업은 더 단순한 이진 분류 작업(SST-2 등)보다 더 큰 변화를 보이며, 더 큰 데이터셋은 더 많은 파라미터 변화를 유도한다.
• 시각화 결과, 깊은 레이어에서 이득 항목이 편향 항목보다 더 큰 변화를 겪으며, 복잡하거나 대규모 작업에서 변화의 크기가 더 크다는 점을 확인하였다. 이는 이득 적응이 도메인 적응 과정에서 더 두드러진 역할을 한다는 것을 의미한다.