[논문 리뷰] Prompt Injection: Parameterization of Fixed Inputs

Eunbi Choi, Yongrae Jo외 2명|arXiv (Cornell University)|2022. 05. 31.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 추론 시에 프롬프트를 다시 첨부할 필요 없이 고정된 프롬프트를 언어 모델의 파라미터에 직접 통합하는 Prompt Injection (PI)을 제안한다. Pseudo-INput Generation (PING)과 같은 디스틸레이션 기반 기법을 사용함으로써, 특히 세부적인 성격 묘사나 데이터베이스 스키마와 같은 긴 프롬프트에 대해 기준선 대비 최대 280배의 FLOPs 절감을 이룬다.

ABSTRACT

Recent works have shown that attaching prompts to the input is effective at conditioning Language Models (LM) to perform specific tasks. However, prompts are always included in the input text during inference, thus incurring substantial computational and memory overhead. Also, there is currently no straightforward method of utilizing prompts that are longer than the maximum input length of the LMs without incurring additional costs during inference. We propose Prompt Injection (PI), a novel formulation of injecting the prompt into the parameters of an LM to be an efficient alternative to attaching fixed prompts to the input. We show that in scenarios with long fixed prompts, PI can be up to 280 times more efficient in terms of total FLOPs than previous approaches. We further explore methodologies for PI and show promising results in persona-dependent conversation, semantic parsing, and zero-shot learning with task instructions. Through these explorations, we show that PI can be a promising direction for conditioning language models, especially in scenarios with long and fixed prompts.

연구 동기 및 목표

• 대규모 언어 모델에서 추론 시 반복적으로 고정된 프롬프트를 입력 시퀀스에 첨부하는 데 발생하는 계산 및 메모리 오버헤드를 해결하기 위해.
• 세부적인 성격 묘사나 데이터베이스 스키마와 같은 긴 프롬프트를 다룰 때 트랜스포머 기반 모델의 고정된 입력 길이 제한을 극복하기 위해.
• 입력 기반 프롬프팅의 효율적인 대안으로, 프롬프트를 직접 모델 파라미터에 통합하여 더 빠른 추론을 가능하게 하기 위해.
• 성능 저하를 최소화하기 위한 효과적인 프롬프트 인젝션 방법론을 탐색하기 위해, 계속된 미세조정과 새로운 디스틸레이션 접근법(PING)을 포함하여.
• 실제 환경에서 긴 고정 프롬프트(예: 13,000토큰이 넘는 위키백과 기사)를 대화 모델에 통합하는 것의 가능성과 효율성을 입증하기 위해.

제안 방법

• 기존에 미리 훈련된 언어 모델의 파라미터에 고정 프롬프트를 통합하는 새로운 설정인 Prompt Injection (PI)을 제안하여, 추론 시 입력 시퀀스에 포함시키지 않아도 되는 것을 가능하게 한다.
• 모델가 프롬프트를 조건으로 하여 가짜 입력을 생성하고, 이를 명시적으로 프롬프트를 첨부한 모델의 동작을 모방하도록 미세조정하는 디스틸레이션 기반 접근법인 Pseudo-INput Generation (PING)을 사용한다.
• 기본 방법으로서 프롬프트를 입력 시퀀스에 첨부한 채로 합성 데이터에서 모델을 미세조정하는 계속된 미리 훈련 기법을 적용한다.
• 프롬프트 조건 기반 생성과 지식 디스틸레이션을 결합하여 PI 모델을 훈련시키며, 명시적으로 프롬프트가 첨부된 모델의 출력 분포와 일치하도록 한다.
• PI의 성능을 평가하기 위해 다양한 작업(성격 기반 대화, 의미 해석, 작업 지시를 통한 제로샷 학습)을 대상으로, 제약 없는(입력에 프롬프트 포함) 및 기본(프롬프트 없음) 모델과 비교한다.
• T5-large에 PING를 통해 긴 프롬프트(예: 전체 위키백과 기사 13,000+ 토큰)를 통합하여 실제 환경에서의 가능성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 긴 프롬프트에 대해 전통적인 입력 기반 프롬프팅 대비 프롬프트 인젝션을 통해 추론 시 FLOPs를 크게 줄일 수 있는가?
• RQ2 계속된 미리 훈련과 PING와 같은 다양한 PI 방법론이 입력 프롬프트 오버헤드를 제거하면서도 다운스트림 작업 성능을 얼마나 잘 유지하는가?
• RQ3 세부적인 성격 묘사나 전체 위키백과 기사와 같은 긴 고정 프롬프트를 성능 저하 없이 처리할 수 있는가?
• RQ4 PI와 상한선(입력에 명시된 프롬프트) 간의 성능 격차를 유도하는 요소는 무엇이며, 입력의 복잡성과 구조는 이 격차에 어떤 영향을 미치는가?
• RQ5 성격 기반 대화, 의미 해석, 제로샷 지시 미세조정 등 다양한 NLP 작업에 대해 PI가 효과적으로 적용될 수 있는가?

주요 결과

• Prompt Injection (PI)는 긴 프롬프트를 처리할 경우, Fusion-in-Decoder 및 Linear Transformer와 같은 기준선 방법에 비해 총 FLOPs를 최대 280× 감소시킨다.
• Pseudo-INput Generation (PING) 방법은 상한선(입력에 명시된 프롬프트)에 매우 가까운 성능을 달성하며, 계속된 미리 훈련보다 우수하고, WSC 및 PERSONA-CHAT와 같은 작업에서 제한 없는 모델 성능에 근접한다.
• 성격 기반 대화 작업에서 PING는 상한선과 거의 동일한 성능을 달성하여 긴 성격 묘사의 효과적인 통합을 보여준다.
• COPA와 RTE와 같은 복잡한 입력 구조에서는 PING가 낮은 품질의 가짜 입력 생성으로 인해 성능이 열등하여 입력 복잡성에 민감함을 보인다.
• 계속된 미리 훈련 기반 모델(CP)은 프롬프트 없음 대비 약간의 성능 향상을 보였지만, 커리큘럼 학습을 적용한 CP(w/ curr)는 일부 경우에서 성능 향상을 보였고, RTE에서는 상한선을 초월하기까지 했다.
• 실제 사례로, PING를 통해 T5-large 모델에 13,000토큰이 넘는 위키백과 기사(일론 머스크)를 성공적으로 통합하여, 입력 프롬프트 오버헤드 없이 정확한 성격 기반 응답을 가능하게 했다.