[논문 리뷰] Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models

Shengnan An, Yifei Li외 7명|arXiv (Cornell University)|2022. 03. 07.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 자연어 생성(NLG) 작업에서 예측 분포와 다소 거리가 먼 입력에 대해 고결정 사전학습된 언어 모델(PLM)의 성능을 향상시키기 위해 연속적인 소프트 프롬프트와 경량 입력 어댑터 모듈을 동시에 최적화하는 Input-Tuning을 제안한다. 입력 어댑터는 고결정 PLM 이전에 입력 표현을 미세조정하며, 프롬프트 테일링보다 뛰어난 성능을 보이며, 일곱 개의 NLG 작업에서 전체 미세조정과 비교해 유사하거나 뛰어난 성능을 달성한다.

ABSTRACT

Recently the prompt-tuning paradigm has attracted significant attention. By only tuning continuous prompts with a frozen pre-trained language model (PLM), prompt-tuning takes a step towards deploying a shared frozen PLM to serve numerous downstream tasks. Although prompt-tuning shows good performance on certain natural language understanding (NLU) tasks, its effectiveness on natural language generation (NLG) tasks is still under-explored. In this paper, we argue that one of the factors hindering the development of prompt-tuning on NLG tasks is the unfamiliar inputs (i.e., inputs are linguistically different from the pretraining corpus). For example, our preliminary exploration reveals a large performance gap between prompt-tuning and fine-tuning when unfamiliar inputs occur frequently in NLG tasks. This motivates us to propose input-tuning, which fine-tunes both the continuous prompts and the input representations, leading to a more effective way to adapt unfamiliar inputs to frozen PLMs. Our proposed input-tuning is conceptually simple and empirically powerful. Experimental results on seven NLG tasks demonstrate that input-tuning is significantly and consistently better than prompt-tuning. Furthermore, on three of these tasks, input-tuning can achieve a comparable or even better performance than fine-tuning.

연구 동기 및 목표

• 사전학습 분포와 언어적으로 거리가 먼 입력에서 프롬프트 테일링의 성능 저하 문제를 해결하기 위해.
• 입력 표현을 직접적으로 적응시킴으로써 프롬프트 테일링과 전체 미세조정 간의 성능 격차를 줄일 수 있는지 조사하기 위해.
• 모델의 모든 가중치를 고정한 채로, 외부 분포의 입력에 대한 적응 능력을 향상시키는 파rameter 효율적인 방법을 개발하기 위해.
• 특히 자원이 제한된 환경에서 다양한 NLG 작업, 백본, 데이터 규모에 걸쳐 입력 테일링의 효과성을 평가하기 위해.

제안 방법

• 고결정 PLM의 첫 번째 레이어 이전에 삽입되는 경량의 학습 가능한 입력 어댑터 모듈을 도입한다.
• 모든 PLM 가중치를 고정한 채로, 훈련 중에 소프트 프롬프트와 입력 어댑터의 파라미터를 동시에 최적화한다.
• 입력 토큰 표현을 고결정 PLM가 처리하기 전에 입력 어댑터를 적용해 변환한다.
• 고결정 PLM에 입력하는 시퀀스 이전에 입력 어댑터의 출력과 소프트 프롬프트를 연결한다.
• PLM의 인덕티브 바이어스를 손상시키지 않도록 단순한 피드포워드 구조를 사용한 토큰 단위의 입력 어댑터를 사용한다.
• 자연어 생성 작업의 표준 순서-순서 목표를 사용하여 교차 엔트로피 손실을 기반으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 입력의 생소함은 NLG 작업에서 프롬프트 테일링의 성능에 어떤 영향을 미치는가?
• RQ2 입력 표현을 변환하는 방식을 학습함으로써, 외부 분포의 입력에서 프롬프트 테일링의 성능 향상을 이룰 수 있는가?
• RQ3 소프트 프롬프트와 학습 가능한 입력 어댑터를 결합하면, 프롬프트 테일링만 사용할 경우보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 성능와 파라미터 효율성 측면에서 입력 테일링은 전체 미세조정과 어떻게 비교되는가?
• RQ5 어떤 설계 선택 사항(예: 어댑터 유형, 프롬프트 길이)이 입력 테일링 성능에 가장 큰 영향을 미치는가?

주요 결과

• 예측 분포와 거리가 먼 입력을 가진 일곱 개의 NLG 작업에서, 입력 테일링은 프롬프트 테일링을 뛰어나며, 모든 작업에서 일관된 성능 향상을 보였다.
• 일곱 개의 작업 중 세 개에서 입력 테일링은 전체 미세조정과 유사하거나 뛰어난 성능을 달성했으며, 특히 자원이 제한된 환경에서 두드러졌다.
• 사전학습 분포와 입력을 수동으로 정렬함으로써 프롬프트 테일링과 전체 미세조정 간의 성능 격차가 줄어들었으며, 이는 입력 표현 불일치가 핵심적 한계임을 시사한다.
• 복잡한 순서 기반 어댑터보다 단순한 토큰 기반 입력 어댑터가 더 뛰어난 성능을 보였으며, 이는 경량 설계가 PLM의 능력을 더 잘 유지함을 의미한다.
• 소프트 프롬프트는 필수적이다: 이를 제거하면 기존의 프롬프트 테일링보다도 성능이 열 劣한다.
• 간단한 작업(예: E2E)에서는 짧은 프롬프트가 가장 우수한 성능를 보였고, 더 복잡한 작업(예: Fr-En)에서는 더 긴 프롬프트가 선호됨을 확인하여, 최적의 프롬프트 길이는 작업에 따라 달라진다는 점을 시사한다.