[논문 리뷰] On the Role of Attention in Prompt-tuning

Samet Oymak, Ankit Singh Rawat외 2명|arXiv (Cornell University)|2023. 06. 06.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 주로 어텐션 기반 모델에서 프롬프트 튜닝에 대한 이론적 분석을 제공하며, 맥락 혼합 모델 하에서 소프트맥스-프롬프트-어텐션은 자체 어텐션 또는 선형-프롬프트-어텐션보다 증명 가능하게 더 표현력이 뛰어나다는 것을 보여준다. 그는 프롬프트-어텐션에 대한 경사 하강법이 거의 최적의 샘플 복잡도를 달성하고, 희박하고 맥락적으로 관련된 토큰에 정밀하게 어텐션을 기울일 수 있음을 입증하며, 맥락 강도가 증가할수록 테스트 오차가 지수적으로 감소함을 보인다.

ABSTRACT

Prompt-tuning is an emerging strategy to adapt large language models (LLM) to downstream tasks by learning a (soft-)prompt parameter from data. Despite its success in LLMs, there is limited theoretical understanding of the power of prompt-tuning and the role of the attention mechanism in prompting. In this work, we explore prompt-tuning for one-layer attention architectures and study contextual mixture-models where each input token belongs to a context-relevant or -irrelevant set. We isolate the role of prompt-tuning through a self-contained prompt-attention model. Our contributions are as follows: (1) We show that softmax-prompt-attention is provably more expressive than softmax-self-attention and linear-prompt-attention under our contextual data model. (2) We analyze the initial trajectory of gradient descent and show that it learns the prompt and prediction head with near-optimal sample complexity and demonstrate how prompt can provably attend to sparse context-relevant tokens. (3) Assuming a known prompt but an unknown prediction head, we characterize the exact finite sample performance of prompt-attention which reveals the fundamental performance limits and the precise benefit of the context information. We also provide experiments that verify our theoretical insights on real datasets and demonstrate how prompt-tuning enables the model to attend to context-relevant information.

연구 동기 및 목표

• 어 attention 기반 모델에서 프롬프트 튜닝의 표현력과 최적화 역학을 이론적으로 이해하는 것.
• 소프트맥스 어텐션 메커니즘이 맥락적으로 관련된 토큰에 효과적이고 희박한 어텐션을 가능하게 하는 역할을 분리하여 고찰하는 것.
• 프롬프트는 알려져 있으나 분류기 헤드는 알려져 있지 않은 경우 프롬프트-어텐션의 유한 샘플 성능을 특성화하는 것.
• 통제된 데이터 모델 하에서 프롬프트 튜닝의 일반화 및 최적화 행동을 자체 어텐션과 선형-프롬프트-어텐션과 비교하는 것.
• 합성 및 실제 이미지 분류 데이터셋에서 이론적 통찰을 실험적으로 검증하는 것.

제안 방법

• 단일 레이어 어텐션 아키텍처를 기반으로 하는 자체 포함형 프롬프트-어텐션 모델을 제안하며, 소프트 프롬프트와 선형 분류기 헤드를 포함한다.
• 입력 토큰을 맥락적으로 관련된(R) 및 관련이 없는(R^c) 집합으로 분할하는 맥락 혼합 모델을 도입하여 어텐션 행동의 통제된 분석을 가능하게 한다.
• 모수 수준의 모델을 사용해 경사 하강법의 초기 궤적을 분석하며, 초기 단계에서 프롬프트와 헤드를 거의 최적의 샘플 복잡도로 학습함을 보여준다.
• 모수 수준의 정리(정리 2)를 유도하여, 충분한 맥락 강도 Q와 스텝 크기 γ가 존재할 경우 테스트 오차가 e^{-cQ²/σ²}로 지수적으로 감소함을 증명한다.
• 유한 샘플 분석(정리 3)을 제공하며, 맥락 벡터의 영향을 보정하기 위해 탈중립화(de-biasing)를 적용하여, 관련 토큰에 높은 확률로 어텐션을 기울이고 낮은 테스트 오차를 달성함을 보인다.
• 학습 과정에서 탈중립화 단계를 도입하여 프롬프트가 최종 예측에서 토큰 선택에 기여하는 역할을 분리함으로써 일반화 분석을 단순화한다.

실험 결과

연구 질문

• RQ1 통제된 데이터 모델 하에서 소프트맥스-어텐션을 사용한 프롬프트 튜닝은 자체 어텐션과 선형-프롬프트-어텐션에 비해 표현력에서 어떻게 비교되는가?
• RQ2 초기 학습 단계에서 프롬프트-어텐션에 대한 경사 하강법이 관련 없는 토큰을 무시하면서도 희박하고 맥락적으로 관련된 토큰에 증명 가능하게 어텐션을 기울일 수 있는가?
• RQ3 프롬프트는 알려져 있으나 분류기 헤드는 알려져 있지 않은 경우, 프롬프트-어텐션의 유한 샘플 성능은 무엇이며, 맥락 강도와 희박성에 어떻게 의존하는가?
• RQ4 어텐션에서의 소프트맥스 비선형성은 고차원적이고 희박한 설정에서 프롬프트 튜닝의 최적화와 일반화를 어떻게 촉진하는가?
• RQ5 관련 토큰의 비율(희박성), 맥락 강도, 프롬프트 벡터와 분류기 벡터 간의 상관관계 사이의 기본적인 상충 관계는 무엇인가?

주요 결과

• 맥락 혼합 모델 하에서 소프트맥스-프롬프트-어텐션은 자체 어텐션과 선형-프롬프트-어텐션보다 증명 가능하게 더 표현력이 뛰어나다.
• 경사 하강법의 초기 궤적은 거의 최적의 샘플 복잡도로 프롬프트와 분류기 헤드를 학습하며, 몇 번의 단계 안에 높은 정확도를 달성한다.
• 충분한 맥락 강도 Q와 스텝 크기 γ가 존재할 경우, 테스트 오차는 e^{-cα²Q²/σ²}로 지수적으로 감소하며, 관련 토큰에 거의 완벽한 어텐션을 기울인다.
• 유한 샘플 설정에서 n ≳ d(Q/ζW)^4 log⁵(nd)일 경우, 모델는 관련 토큰에 높은 확률로 어텐션을 기울이며, t ∈ R에 대해 aₜ ≥ (1−ε)/(ζT)이고, t ∉ R에 대해 aₜ ≤ ε/((1−ζ)T)임을 보인다.
• 모델의 테스트 오차는 2Te^{-cα²Q²}로 유계이며, 이는 희박한 설정에서 선형 모델에 비해 지수적 향상을 보임을 보여준다 (ζ = O(1/√T)).
• 분석 결과, 관련 토큰에 효과적인 어텐션을 기울이기 위해서는 프롬프트 벡터가 분류기 대비 에너지 측면에서 지배적이어야 하며, 특히 ρ ≠ 0일 경우 더욱 그러하다.