[논문 리뷰] Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning.

Yujia Qin, Xiaozhi Wang외 9명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling참고 문헌 31인용 수 22

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PLM)에서 프롬프트 테일링을 재구성하여 최적화를 저차원의 공통 내재 작업 부분공간으로 제한함으로써 프롬프트 테일링을 재구성하는 Intrinsic Prompt Tuning(IPT)을 제안한다. 100개의 작업에서 학습된 5차원 부분공간에서 오직 5개의 파라미터만 조정함으로써 IPT는 본래의 프롬프트 테일링 성능의 87%와 65%를 각각 본 적 있는 작업과 본 적 없는 작업에서 달성하며, 강력한 일반화 능력과 향상된 안정성을 입증한다.

ABSTRACT

How can pre-trained language models (PLMs) learn universal representations and effectively adapt to broad NLP tasks differing a lot superficially? In this work, we empirically find evidences indicating that the adaptations of PLMs to various tasks can be reparameterized as optimizing only a few free parameters in a common low-dimensional intrinsic task subspace, which may help us understand why PLMs could easily adapt to various NLP tasks with small-scale data. Specifically, to find such a subspace and examine its universality, we resort to the recent success of prompt tuning and decompose the soft prompts of multiple NLP tasks into the same low-dimensional nonlinear subspace, then we learn to adapt the PLM to unseen tasks or data by only tuning parameters in the subspace. We dub this pipeline as intrinsic prompt tuning (IPT). In experiments, we study diverse few-shot NLP tasks and surprisingly find that in a 5-dimensional subspace found with 100 random tasks, by only tuning 5 free parameters, we can recover 87% and 65% of the full prompt tuning performance for 100 seen tasks (using different training data) and 20 unseen tasks, respectively, showing great generalization ability of the found intrinsic task subspace. Besides being an analysis tool, IPT could further bring practical benefits, such as improving the prompt tuning stability.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)이 최소한의 미세조정으로 다양한 NLP 작업에 잘 일반화되는 이유를 이해한다.
• 다양한 작업에 대한 PLM 적응이 공통의 저차원 부분공간으로 통합될 수 있는지 조사한다.
• 공통 부분공간 내에서 오직 몇 개의 파라미터만 최적화함으로써 본 적 없는 작업에 효과적으로 소수의 예제로 적응할 수 있는 방법을 개발한다.
• 공통 내재 작업 부분공간에서의 파라미터 재구성으로 프롬프트 테일링의 안정성과 효율성을 향상시킨다.

제안 방법

• 100개의 다양한 NLP 작업에서의 소프트 프롬프트를 프롬프트 테일링을 통해 공통의 저차원 비선형 부분공간으로 분해한다.
• 다양한 작업 집합에서 내재 작업 부분공간의 공통 기저를 학습하여 보편적인 적응 패턴을 포착한다.
• 완전한 소프트 프롬프트 벡터가 아닌 학습된 부분공간 내에서 저차원 파라미터만 최적화하여 프롬프트 테일링을 수행한다.
• 동일한 부분공간을 본 적 있는 작업과 본 적 없는 작업 모두에 적응하는 데 사용하여 제로샷 또는 소수의 예제로 일반화를 가능하게 한다.
• 일반화와 안정성 평가를 위해 내재 프롬프트 테일링(IPT) 파이프라인을 다양한 소수의 예제를 가진 NLP 작업들에 적용한다.
• 부분공간의 구조를 활용하여 프롬프트 테일링의 최적화 복잡도를 감소시키고 수렴 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 NLP 작업에 대한 사전 훈련된 언어 모델의 적응이 저차원 내재 작업 부분공간으로 재구성될 수 있는가?
• RQ2 소수의 예제로 본 적 없는 NLP 작업에 대해 단일 공통 저차원 부분공간이 얼마나 잘 일반화되는가?
• RQ3 내재 부분공간에서 오직 몇 개의 파라미터만 조정함으로써 전체 프롬프트 테일링 성능을 얼마나 회복할 수 있는가?
• RQ4 내재 부분공간에 최적화를 제한함으로써 프롬프트 테일링의 안정성이 향상되는가?

주요 결과

• 100개의 다양한 NLP 작업에서 학습된 5차원 내재 작업 부분공간은 본 적 있는 작업과 본 적 없는 작업 모두에 효과적인 적응을 가능하게 한다.
• 내재 부분공간에서 오직 5개의 파라미터만 조정함으로써 IPT는 본 적 있는 100개의 작업에서 전체 프롬프트 테일링 성능의 87%를 회복한다.
• 본 적 없는 20개의 작업에 대해서는 IPT가 전체 프롬프트 테일링 성능의 65%를 달성하여 강력한 일반화 능력을 입증한다.
• 내재 작업 부분공간은 프롬프트 테일링의 안정성을 크게 향상시켜 최적화 분산을 감소시킨다.
• 이 방법은 PLM이 다양한 작업에 적응하는 것이 본질적으로 저차원의 보편 부분공간에 제한됨을 드러낸다.
• 부분공간은 작업 간 보편적인 적응 패턴을 포착하여 PLM 미세조정에서 공통된 인덕티브 편향이 존재함을 시사한다.