[논문 리뷰] When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations

Aleksandar Petrov, Philip H. S. Torr외 1명|arXiv (Cornell University)|2023. 10. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 프롬프팅, 소프트 프롬프팅, 프리픽스 튜닝과 같은 컨텍스트 기반 파인튜닝 방법을 이론적으로 분석하여, 이들이 새로운 어텐션 패턴을 학습할 수 없기 때문에 전체 파인튜닝보다 엄격히 표현력이 떨어진다는 것을 보여준다. 연속 임베딩 공간의 더 높은 표현력에도 불구하고, 프리픽스 튜닝은 어텐션 출력을 고정된 방향으로만 편향시킬 수 있어, 새로운 어텐션 동역학을 필요로 하는 새로운 작업을 학습하는 데 한계가 있다.

ABSTRACT

Context-based fine-tuning methods, including prompting, in-context learning, soft prompting (also known as prompt tuning), and prefix-tuning, have gained popularity due to their ability to often match the performance of full fine-tuning with a fraction of the parameters. Despite their empirical successes, there is little theoretical understanding of how these techniques influence the internal computation of the model and their expressiveness limitations. We show that despite the continuous embedding space being more expressive than the discrete token space, soft-prompting and prefix-tuning are potentially less expressive than full fine-tuning, even with the same number of learnable parameters. Concretely, context-based fine-tuning cannot change the relative attention pattern over the content and can only bias the outputs of an attention layer in a fixed direction. This suggests that while techniques like prompting, in-context learning, soft prompting, and prefix-tuning can effectively elicit skills present in the pretrained model, they may not be able to learn novel tasks that require new attention patterns.

연구 동기 및 목표

• 프롬프팅과 프리픽스 튜닝과 같은 컨텍스트 기반 파인튜닝 방법의 이론적 표현력 한계를 이해하는 것.
• 연속 임베딩 공간이 프롬프팅에서 이산 토큰보다 진정으로 계산적 이점이 있는지 조사하는 것.
• 형태적 제약이 있음에도 불구하고 프리픽스 튜닝의 경험적 성공을 설명하는 것.
• 이러한 방법이 근본적으로 새로운 어텐션 패턴을 요구하는 작업에서 실패하는 이유를 명확히 하는 것.
• 모델 정렬, 치명적 잊힘, 해석 가능성에 대한 영향을 탐색하는 것.

제안 방법

• 다양한 파인튜닝 방식(이산 프롬프팅, 소프트 프롬프팅, 프리픽스 튜닝)에서 트랜스포머 어텐션 메커니즘의 이론적 분석.
• 다른 파인튜닝 방법에서 서로 다른 행동을 보이는 최소 크기의 트랜스포머를 구성하여 표현력 한계를 입증하는 것.
• 프리픽스 튜닝이 콘텐츠 토큰 간 상대 어텐션 패턴을 변경할 수 없으며, 오직 고정된 부분공간에서 어텐션 출력을 편향시킬 수 있음을 공식적으로 증명하는 것.
• 프리픽스에 의해 유도된 편향이 다음 단계의 비선형 연산과 어떻게 상호작용하여 모델 행동에 영향을 미치는지 분석하는 것.
• 어 attention 출력 부분공간의 질량 기반 분석을 통해 프리픽스 튜닝과 전체 파인튜닝 간의 표현력 비교.
• 이론적 주장의 재현을 위해 명시적 구성과 코드 배포를 통한 경험적 검증.

실험 결과

연구 질문

• RQ1 연속 임베딩 공간은 트랜스포머에서 이산 토큰 프롬프팅보다 진정으로 더 높은 표현력을 제공할 수 있는가?
• RQ2 동일한 학습 가능한 파rameter 수를 가짐에도 불구하고, 프리픽스 튜닝은 전체 파인튜닝만큼 표현력이 있는가?
• RQ3 컨텍스트 기반 방법이 새로운 어텐션 패턴을 학습할 수 없음에도 불구하고, 프리픽스 튜닝이 높은 경험적 성능을 달성하는 이유는 무엇인가?
• RQ4 어텐션 다이내믹스를 수정하는 데서 프리픽스 튜닝의 구조적 제약은 무엇인가?
• RQ5 컨텍스트 기반 파인튜닝은 완전히 새로운 어텐션 패턴이 필요한 작업을 학습할 수 있는가?

주요 결과

• 소프트 프롬프팅과 프리픽스 튜닝은 동일한 학습 가능한 파arameter 수를 가짐에도 불구하고 전체 파인튜닝보다 엄격히 표현력이 떨어진다.
• 프리픽스 튜닝은 콘텐츠 토큰 간 상대 어텐션 패턴을 변경할 수 없으며, 오직 고정된 방향으로 어텐션 출력을 편향시킬 수 있다.
• 프리픽스에 의해 유도된 어텐션 출력 편향은 프리픽스 길이에 해당하는 질량의 부분공간에 국한되어 있어 표현력이 제한된다.
• 형태적 제약에도 불구하고, 프리픽스 튜닝은 사전학습된 기술을 성공적으로 유도하거나 조합할 수 있어, 이는 이론적 성공을 설명한다.
• 전체 파인튜닝이 동일한 수의 파arameter로 성공할 수 있는 경우에도, 프리픽스 튜닝은 완전히 새로운 어텐션 패턴이 필요한 작업에서 실패한다.
• 결과적으로 현재의 정렬 방법은 악성 행동을 제거하는 것이 아니라 가려내는 데 그칠 수 있으며, 컨텍스트 기반 파인튜닝은 새로운 악성 행동을 유도할 수 없다.