[논문 리뷰] Revisiting Parameter-Efficient Tuning: Are We Really There Yet?

Guanzheng Chen, Fangyu Liu외 2명|arXiv (Cornell University)|2022. 01. 01.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 LoRA, Adapter, Prefix Tuning, BitFit와 같은 파라미터 효율적 튜닝(PETuning) 방법을 재평가하며, 현재 평가 관행의 결함이 과도하게 낙관적인 성능 주장으로 이어지는 것을 드러낸다. 공정하고 격리된 검증 및 테스트 프로토콜 하에서 PETuning은 전체 미세조정보다 일관되게 뛰어나지 않으며, 특히 중간 및 고자원 설정에서 성능이 열 劣하고, 가중치 초기화 및 데이터 순서에 따라 심각한 불안정성을 보이며, 학습 가능한 파라미터 수가 적고 학습 스텝 수가 많을수록 안정성이 향상된다.

ABSTRACT

Parameter-Efficient Tuning (PETuning) methods have been deemed by many as the new paradigm for using pretrained language models (PLMs). By tuning just a fraction amount of parameters comparing to full model finetuning, PETuning methods claim to have achieved performance on par with or even better than finetuning. In this work, we take a step back and re-examine these PETuning methods by conducting the first comprehensive investigation into the training and evaluation of them. We found the problematic validation and testing practice in current studies, when accompanied by the instability nature of PETuning methods, has led to unreliable conclusions. When being compared under a truly fair evaluation protocol, PETuning cannot yield consistently competitive performance while finetuning remains to be the best-performing method in medium- and high-resource settings. We delve deeper into the cause of the instability and observed that the number of trainable parameters and training iterations are two main factors: reducing trainable parameters and prolonging training iterations may lead to higher stability in PETuning methods.

연구 동기 및 목표

• PETuning 방법에 대한 현재 평가 프로토콜의 신뢰성을 조사하는 것 — 일반적으로 조기 정지와 성능 보고에 동일한 개발 세트를 사용함.
• 다양한 자원 수준 설정에서 PETuning 방법이 실제로 전체 미세조정을 초월하는지 평가하는 것.
• PETuning 방법의 불안정성 분석 및 성능 일관성에 영향을 주는 주요 요인 규명하는 것.
• 검증 및 테스트 세트를 분리하여 일반화 평가를 보장하는 공정한 평가 프레임워크 제안하는 것.

제안 방법

• 데이터 泄漏를 제거하기 위해 표준화된 훈련/검증/테스트 분할을 사용해 12개의 GLUE 및 SuperGLUE 작업에서 통제된 실험 수행.
• 저자원 및 중자원 작업에는 20개의 랜덤 시드를, 고자원 작업에는 10개의 랜덤 시드를 사용해 표준편차를 통해 안정성 측정.
• 엄격한 평가 프로토콜을 적용하여 검증은 조기 정지를 위한 목적 외에는 사용하지 않으며, 보류된 테스트 세트에 대해 단 한 번의 테스트만 수행.
• 학습 가능한 파라미터 수와 학습 반복 수를 체계적으로 변화시켜 안정성 및 성능에 미치는 영향 분석.
• 동일한 조건에서 PETuning 방법(Adaper, Prefix Tuning, LoRA, BitFit)을 전체 미세조정과 비교.
• 통계적 유의성 보고 및 표준편차를 사용해 런 간 불안정성 정량화.

실험 결과

연구 질문

• RQ1 개발 세트를 조기 정지 및 성능 보고에 동시에 사용하는 현재의 관행이 PETuning 성능에 대한 편향되고 신뢰할 수 없는 결론을 이끌어내는가?
• RQ2 PETuning 방법이 다양한 자원 수준(저, 중, 고)에서 일관되게 전체 미세조정을 초월할 수 있는가?
• RQ3 학습 중 PETuning 방법에서 관찰된 불안정성의 원인 요소는 무엇인가?
• RQ4 학습 가능한 파라미터 수와 학습 반복 수는 PETuning 방법의 안정성 및 성능에 어떤 영향을 미치는가?

주요 결과

• PETuning 방법은 일관되게 전체 미세조정을 뛰어넘지 못하며, 중·고자원 설정에서 성능이 열 劣하며, 모든 작업에서 일관된 슈퍼리오리티를 확보하지 못함.
• Prefix Tuning(PT)는 다른 PETuning 방법들보다 뚜렷하게 뒤처지며, 대부분의 작업에서 성능이 열 劣함 — 특히 저자원 환경에서 심각함.
• 모든 PETuning 방법이 랜덤 시드 간에 높은 불안정성을 보이며, 가중치 초기화 및 훈련 데이터 셔플링으로 인해 성능 변동이 심함.
• 각 PETuning 방법 유형 내에서 학습 가능한 파라미터 수를 줄이면 안정성이 향상됨 — 이는 작은 파라미터 업데이트가 더 일관된 결과를 낳음을 시사함.
• 학습 반복 수를 늘일수록 일반적으로 불안정성이 감소하지만, 소규모 데이터셋에서 장기간 학습을 수행한다고 해서 성능 향상이 보장되지는 않으며 여전히 높은 변동성이 존재함.
• 기존 연구에서 사용된 표준 평가 프로토콜은 데이터 泄漏로 인해 성능 추정치가 과대평가되어 PETuning의 슈퍼리오리티 주장이 무효화됨.