[논문 리뷰] OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning

Jiazheng Li, Runcong Zhao외 3명|arXiv (Cornell University)|2023. 05. 24.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

OverPrompt는 단일 LLM 추론 호출에 여러 입력을 배치하여 비용 효율적인 zero-shot 프롬프팅 전략을 제안한다. 이로 인해 토큰 및 시간 비용을 절감하고, 컨텍스트 내 학습을 통해 성능을 향상시킨다. 작업 설명을 재사용하고, 그룹화된 입력 간의 일반화 능력을 활용함으로써 OverPrompt는 텍스트 분류 작업에서 추론 비용을 낮추고 정확도를 향상시키며, 특히 감성 분석 및 사실 확인 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

The remarkable performance of pre-trained large language models has revolutionised various natural language processing applications. Due to huge parametersizes and extensive running costs, companies or organisations tend to transfer the models to the target task by zero-shot prompting techniques. However, the prohibitive costs of tokens and time have hindered their adoption in applications. We propose OverPrompt, leveraging the in-context learning capability of LLMs to handle multiple task inputs, thereby reducing token and time costs. This approach could potentially improve task performance during API queries due to better conditional distribution mapping. Evaluated across diverse classification datasets, our experiments show that OverPrompt can achieve cost-efficient zero-shot classification without causing significant detriment to task performance, and in some cases, even improving it. An ablation study conducted on various LLMs, along with an investigation into the robustness of our prompting strategy to different input ordering, offers valuable insights into the broader applicability of our method across diverse tasks. These findings also suggest a more seamless integration of our method with LLMs through an API.

연구 동기 및 목표

• API를 통한 zero-shot 분류를 위한 대규모 언어 모델(LLM) 배포 시 발생하는 높은 토큰 및 시간 비용을 줄이기 위해.
• 단일 프롬프트에 여러 레이블이 없는 입력을 배치함으로써 컨텍스트 내 학습을 통해 작업 성능을 향상시킬 수 있는지 탐색하기 위해.
• 예측 정확도를 유지하거나 향상시키면서도 반복적인 작업 설명 반복을 최소화하는 프롬프팅 전략을 설계하기 위해.
• 다양한 LLM 및 입력 순서 설정에 대한 성능의 강인성 평가하기 위해.
• 비용 효율적인 프롬프팅을 통해 생산 환경에서 LLM의 더 효율적이고 확장 가능한 배포를 가능하게 하기 위해.

제안 방법

• OverPrompt는 여러 레이블이 없는 입력 인스턴스를 단일 프롬프트로 그룹화하여, 토큰 소비를 줄이기 위해 작업 설명을 단 한 번만 재사용한다.
• 이 방법은 LLM의 컨텍스트 내 학습(ICL) 능력을 활용하여 다수의 입력 간의 맥락 정보를 제공함으로써 조건부 분포 매핑을 향상시킨다.
• 다수의 입력을 통합함으로써 분포 근사화가 향상되고 형식 오류가 감소함을 이론적으로 정당화하기 위해 베이지안 추론 프레임워크를 사용한다.
• 중복을 최소화하기 위해 프롬프팅 템플릿을 설계하였으며, 작업 설명은 한 번만 기재하고 다수의 입력은 일관된 형식으로 구성하여 모델의 일반화 능력을 향상시켰다.
• 오류율을 낮추고 일관성을 향상시키기 위해 출력 형식을 수정하였으며, 특히 명확한 카테고리 경계를 가진 작업에서 효과가 뚜렷했다.
• GPT-3.5-turbo와 GPT-4를 사용하여 10개의 다양한 텍스트 분류 데이터셋에서 평가하였으며, 입력 순서 및 모델 유형에 대한 추론 실험을 실시하였다.

Figure 1: This illustration highlights the difference between traditional zero-shot classification prompting strategy and our OverPrompt. Deploying LLMs requires significant computational resources, so abandoning API queries is not practical. Our OverPrompt strategy prioritizes cost efficiency while

실험 결과

연구 질문

• RQ1 단일 프롬프트에 여러 레이블이 없는 입력을 배치함으로써 zero-shot LLM 추론에서 토큰 및 시간 비용을 줄일 수 있는가?
• RQ2 다수의 입력에서 얻은 맥락 정보를 제공함으로써 zero-shot 분류에서 모델의 예측 정확도가 향상되는가?
• RQ3 OverPrompt의 성능는 입력 순서의 변화나 다양한 LLM 아키텍처에 대해 얼마나 강인한가?
• RQ4 OverPrompt가 성능 향상을 보이는 분류 작업의 유형은 무엇이며, 그 이유는 무엇인가?
• RQ5 모델 신뢰성에 영향을 주지 않으면서 OverPrompt는 API 기반 LLM 워크플로우에 효과적으로 통합될 수 있는가?

주요 결과

• OverPrompt는 단일 API 호출에서 여러 입력에 걸쳐 작업 설명을 재사용함으로써 토큰 및 시간 비용을 크게 절감한다.
• 감성 분석 및 사실 확인과 같은 분야에서 특히 성능 향상이 두드러지며, 맥락적 비교가 의사결정 과정을 향상시킨다.
• gpt-3.5-turbo와 gpt-4 모델에서 성능 향상이 가장 두드러지며, 이는 이들의 컨텍스트 내 학습 메커니즘과 강한 일치를 보인다.
• 입력 순서에 대한 민감도가 낮아 다양한 입력 순서에서도 성능 저하가 최소화되어 실제 운영 환경에서의 안정성을 입증한다.
• 추론 실험 결과, 입력 길이가 길어져도 전략이 효과적임을 확인하였지만, 매우 긴 입력은 컨텍스트 길이 제한으로 인해 성능 저하가 발생할 수 있음을 확인하였다.
• 중복 API 호출과 토큰 사용을 최소화함으로써 LLM 추론의 탄소 발자국을 줄였다.

Figure 2: Illustration of ChatGPT struggling with similar sentences when input individually. Employing the OverPrompt strategy and cohesively grouping synthetic data from the "VitaminC" dataset may improve the performance of zero-shot inference.