[논문 리뷰] LiST: Lite Self-training Makes Efficient Few-shot Learners.

Yaqing Wang, Subhabrata Mukherjee외 4명|arXiv (Cornell University)|2021. 10. 12.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

LiST는 대규모 사전 훈련된 언어 모델의 소수 샘플 피니테이닝을 향상시키기 위해 자기 훈련과 어댑터 기반 파라미터 효율적 피니테이닝을 조합한 경량 자기 훈련 방법이다. 이 방법은 기존의 피니테이닝 대비 35% 높은 성능을 달성하고 프롬프트 훈련 대비 6% 높은 성능을 보이며, 훈련 가능한 파라미터를 96% 감소시켰다. 각 작업당 레이블이 부여된 예시는 단 30개 뿐이다.

ABSTRACT

We present a new method LiST for efficient fine-tuning of large pre-trained language models (PLMs) in few-shot learning settings. LiST significantly improves over recent methods that adopt prompt fine-tuning using two key techniques. The first one is the use of self-training to leverage large amounts of unlabeled data for prompt-tuning to significantly boost the model performance in few-shot settings. We use self-training in conjunction with meta-learning for re-weighting noisy pseudo-prompt labels. However, traditional self-training is expensive as it requires updating all the model parameters repetitively. Therefore, we use a second technique for light-weight fine-tuning where we introduce a small number of task-specific adapter parameters that are fine-tuned during self-training while keeping the PLM encoder frozen. This also significantly reduces the overall model footprint across several tasks that can now share a common PLM encoder as backbone for inference. Combining the above techniques, LiST not only improves the model performance for few-shot learning on target domains but also reduces the model memory footprint. We present a comprehensive study on six NLU tasks to validate the effectiveness of LiST. The results show that LiST improves by 35% over classic fine-tuning methods and 6% over prompt-tuning with 96% reduction in number of trainable parameters when fine-tuned with no more than 30 labeled examples from each target domain.

연구 동기 및 목표

• 최소한의 레이블 데이터를 사용하여 사전 훈련된 언어 모델의 소수 샘플 학습 성능을 향상시키기 위해.
• 저자원 환경에서 피니테이닝된 모델의 메모리 및 파라미터 사용량을 줄이기 위해.
• 공통된 PLM 백본을 사용하여 여러 NLU 작업 간에 효율적이고 확장 가능한 적응을 가능하게 하기 위해.
• 자기 훈련 중 생성된 가짜 레이블 프롬프트의 노이즈를 메타학습 재가중 기법을 통해 완화하기 위해.

제안 방법

• 자기 훈련을 통해 프롬프트 훈련 중에 대량의 레이블이 없는 데이터를 활용하여 소수 샘플 성능을 향상시킨다.
• PLM 인코더를 동결한 채로 테스크별 어댑터 모듈을 도입하고, 이를 피니테이닝함으로써 파라미터 업데이트를 줄인다.
• 자기 훈련 중 생성된 노이즈가 있는 가짜 프롬프트 레이블의 신뢰도를 향상시키기 위해 메타학습 기반 재가중 기법을 적용한다.
• 자기 훈련과 어댑터 기반 피니테이닝을 결합하여 최소한의 계산 비용으로도 높은 성능 유지.
• 여러 테스크 간에 동일한 동결된 PLM 인코더를 공유함으로써 효율적인 추론과 모델 압축을 가능하게 한다.
• PLM의 전체 재학습을 피하는 경량 훈련 파이프라인을 구현하여 메모리 사용량을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 자기 훈련을 파라미터 효율적 적응과 조합할 경우, 프롬프트 훈련된 모델의 소수 샘플 성능 향상에 기여할 수 있는가?
• RQ2 어댑터 기반 피니테이닝은 성능을 유지하면서도 훈련 가능한 파라미터 수를 얼마나 줄일 수 있는가?
• RQ3 메타학습 기반 기법을 통해 자기 훈련 중 생성된 가짜 레이블 프롬프트의 신뢰성을 향상시킬 수 있는가?
• RQ4 제한된 레이블 데이터로 소수 샘플 피니테이닝을 수행할 때 성능 향상과 파라미터 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ5 공통된 PLM 백본을 최소한의 피니테이닝 오버헤드로 여러 테스크에 효과적으로 적용할 수 있는가?

주요 결과

• LiST는 각 테스크당 30개 이하의 레이블이 부여된 예시를 사용할 때 기존의 피니테이닝 대비 소수 샘플 학습 성능을 35% 향상시켰다.
• 동일한 소수 샘플 설정에서 LiST는 프롬프트 훈련 대비 6% 높은 성능을 달성했다.
• 표준 피니테이닝 대비 훈련 가능한 파라미터 수를 96% 감소시켰다.
• 어댑터의 사용은 PLM 인코더를 동결한 채로 효율적이고 테스크별 적응을 가능하게 했다.
• 최소한의 레이블 데이터로도 여섯 가지 다양한 NLU 테스크에서 강력한 일반화 성능을 유지했다.
• 메타학습 기반 재가중 기법을 적용한 자기 훈련은 노이즈를 효과적으로 감소시키고 모델의 강건성을 향상시켰다.