[논문 리뷰] On Transferability of Prompt Tuning for Natural Language Understanding

Yusheng Su, Xiaozhi Wang외 9명|arXiv (Cornell University)|2021. 11. 12.

Topic Modeling참고 문헌 50인용 수 11

한 줄 요약

이 논문은 자연어 이해를 위한 프롬프트 튜닝(PT)의 이동 가능성에 대해 조사하며, 한 작업에서 트레이닝된 소프트 프롬프트가 유사한 다운스트림 작업에서 프롬프트 튜닝 성능을 가속화하고 향상시키는 데 효과적임을 보여준다. 프롬프트 유사도, 특히 겹치는 활성화된 뉴런이 이동 가능성과 강하게 상관됨을 발견하였으며, 태스크 간 이동은 잘 작동하지만, 최적화 차이와 모델의 중복성으로 인해 모델 간 이동은 덜 효과적임을 확인하였다.

ABSTRACT

Prompt tuning (PT) is a promising parameter-efficient method to utilize extremely large pre-trained language models (PLMs), which could achieve comparable performance to full-parameter fine-tuning by only tuning a few soft prompts. However, compared to fine-tuning, PT empirically requires much more training steps. To explore whether we can improve the efficiency of PT by reusing trained soft prompts and sharing learned knowledge, we empirically investigate the transferability of soft prompts across different tasks and models. In cross-task transfer, we find that trained soft prompts can well transfer to similar tasks and initialize PT for them to accelerate training and improve performance. Moreover, to explore what factors influence prompts' transferability across tasks, we investigate how to measure the prompt similarity and find that the overlapping rate of activated neurons highly correlates to the transferability. In cross-model transfer, we explore how to project the prompts of a PLM to another PLM and successfully train a kind of projector which can achieve non-trivial transfer performance on similar tasks. However, initializing PT with the projected prompts does not work well, which may be caused by optimization preferences and PLMs' high redundancy. Our findings show that improving PT with knowledge transfer is possible and promising, while prompts' cross-task transferability is generally better than the cross-model transferability.

연구 동기 및 목표

• 한 태스크에서 트레이닝된 소프트 프롬프트가 유사한 다운스트림 태스크에서 프롬프트 튜닝을 가속화하고 향상시킬 수 있는지 조사하는 것.
• 다양한 자연어 이해 태스크 간 소프트 프롬프트의 이동 가능성에 영향을 미치는 요인을 규명하는 것.
• 프로젝션 메커니즘을 통해 다른 사전 트레이닝된 언어 모델(PLM) 간 프롬프트를 이동시키는 가능성 탐색.
• 이동된 프롬프트로 프롬프트 튜닝을 초기화할 경우 학습 효율성과 성능 향상 여부 평가.
• 뉴런 활성화 오버랩과 최적화 선호도가 프롬프트 이동 가능성 결정에 미치는 역할 분석.

제안 방법

• 소스 태스크에서 튜닝된 소프트 프롬프트를 사용해 여러 NLU 태스크 간 프롬프트 튜닝 이동 가능성 실증 평가.
• PLM의 히든 레이어에서 활성화된 뉴런의 겹침 비율을 사용해 프롬프트 유사도 측정.
• 소프트 프롬프트를 한 PLM에서 다른 PLM으로 매핑하기 위한 프로젝터 네트워크 학습.
• 이동된 프롬프트로 타겟 태스크에서 프롬프트 튜닝을 초기화하고, 랜덤 초기화와의 수렴 속도와 성능 비교.
• 최적화 다이내믹스와 모델 고유의 선호도 분석을 통해 모델 간 이동에서 성능 격차를 설명.
• 다양한 태스크와 모델 아키텍처에서 이동 성능 평가를 위해 표준 NLU 벤치마크(예: GLUE) 사용.

실험 결과

연구 질문

• RQ1 한 NLU 태스크에서 트레이닝된 소프트 프롬프트가 다른 유사한 태스크에서 효과적으로 이동되어 프롬프트 튜닝을 가속화할 수 있는가?
• RQ2 뉴런 활성화 패턴과 같은 요소들이 태스크 간 소프트 프롬프트의 이동 가능성에 미치는 영향은 무엇인가?
• RQ3 프로젝션 메커니즘을 사용해 다른 사전 트레이닝된 언어 모델 간 소프트 프롬프트를 어느 정도 이동시킬 수 있는가?
• RQ4 이동된 프롬프트로 프롬프트 튜닝을 초기화할 경우, 랜덤 초기화 대비 더 빠른 수렴과 더 나은 성능을 달성할 수 있는가?
• RQ5 성공적인 프로젝션에도 불구하고, 모델 간 프롬프트 이동이 태스크 간 이동보다 성능이 열 劣하는 이유는 무엇인가?

주요 결과

• 트레이닝된 소프트 프롬프트는 유사한 다운스트림 태스크로 효과적으로 이동되며, 프롬프트 튜닝의 수렴 속도를 크게 가속화하고 성능을 향상시킨다.
• PLM의 히든 레이어에서 활성화된 뉴런의 겹침 비율은 태스크 간 프롬프트 이동 가능성과 강한 정적 상관관계를 보인다.
• 프로젝터 네트워크를 통해 한 PLM의 소프트 프롬프트를 다른 PLM로 매핑할 수 있으며, 이는 유사한 태스크에서 비차별적인 이동 성능을 달성한다.
• 다른 PLM에서 유도된 프로젝터 프롬프트로 프롬프트 튜닝을 초기화해도 성능 향상이 이루어지지 않으며, 이는 최적화 선호도 불일치와 모델 고유의 중복성 때문일 것이다.
• 태스크 간 이동 가능성은 항상 모델 간 이동 가능성보다 높으며, 이는 태스크 유사성이 모델 호환성보다 성공에 더 강력한 결정 요소임을 시사한다.
• 결과적으로 소프트 프롬프트를 통한 지식 이동은 동일한 모델 패밀리나 태스크 분포 내에서 더 효과적임을 시사한다.