[논문 리뷰] Adapting LLMs for Efficient Context Processing through Soft Prompt Compression

Cangqing Wang, Yutian Yang외 6명|arXiv (Cornell University)|2024. 04. 07.

Network Packet Processing and Optimization인용 수 4

한 줄 요약

이 논문은 자연어 요약과 훈련 가능한 소프트 프롬프트를 조합하여 장문의 컨텍스트를 압축함으로써 LLM의 장문 처리 능력을 향상시키는 SoftPromptComp 프레임워크를 제안한다. 입력 컨텍스트를 동적으로 압축하고 가중치 기반 메커니즘을 통해 정보 유지 최적화를 통해, 처리 시간을 최대 80.1% 감소시키면서도 여러 NLP 작업에서 성능을 유지하거나 향상시킨다.

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has inaugurated a transformative epoch in natural language processing, fostering unprecedented proficiency in text generation, comprehension, and contextual scrutiny. Nevertheless, effectively handling extensive contexts, crucial for myriad applications, poses a formidable obstacle owing to the intrinsic constraints of the models' context window sizes and the computational burdens entailed by their operations. This investigation presents an innovative framework that strategically tailors LLMs for streamlined context processing by harnessing the synergies among natural language summarization, soft prompt compression, and augmented utility preservation mechanisms. Our methodology, dubbed SoftPromptComp, amalgamates natural language prompts extracted from summarization methodologies with dynamically generated soft prompts to forge a concise yet semantically robust depiction of protracted contexts. This depiction undergoes further refinement via a weighting mechanism optimizing information retention and utility for subsequent tasks. We substantiate that our framework markedly diminishes computational overhead and enhances LLMs' efficacy across various benchmarks, while upholding or even augmenting the caliber of the produced content. By amalgamating soft prompt compression with sophisticated summarization, SoftPromptComp confronts the dual challenges of managing lengthy contexts and ensuring model scalability. Our findings point towards a propitious trajectory for augmenting LLMs' applicability and efficiency, rendering them more versatile and pragmatic for real-world applications. This research enriches the ongoing discourse on optimizing language models, providing insights into the potency of soft prompts and summarization techniques as pivotal instruments for the forthcoming generation of NLP solutions.

연구 동기 및 목표

• 장문의 문서를 처리할 때 LLM의 계산 비효율성과 컨텍스트 창 제한 문제를 해결하기 위해.
• 하류 NLP 작업에서의 성능을 훼손하지 않으면서 모델의 효율성을 향상시키기 위해.
• 압축된, 훈련 가능한 소프트 프롬프트를 통해 장문의 컨텍스트의 의미적 유용성과 이식 가능성 유지 방법을 개발하기 위해.
• 고처리량과 저지연을 요구하는 실세계 응용 분야에서 LLM의 확장 가능한 배포를 가능하게 하기 위해.
• 소프트 프롬프트 압축을 자연어 요약과 통합하여 더 나은 컨텍스트 관리 구현하기 위해.

제안 방법

• 프리트레인된 요약 모델을 사용해 장문의 입력 텍스트를 간결하고 내용이 풍부한 자연어 요약으로 압축한다.
• 이 요약문은 훈련 가능한 소프트 프롬프트로 임bedding되며, 이는 미분 가능한 파라미터로서 파인튜닝 중 최적화된다.
• 핵심 정보를 우선순위에 두고 유용성과 압축률을 균형 잡기 위해 동적 가중치 기반 메커니즘이 적용된다.
• 압축된 소프트 프롬프트 표현은 LLM의 입력 시퀀스에 통합되어 효과적인 컨텍스트 창을 확장한다.
• 의미적 충실도와 작업 성능 유지를 위해 요약 손실과 하류 작업 손실의 조합을 사용해 엔드 투 엔드로 훈련된다.
• SQuAD2.0, CNN/Daily Mail, SST-2, AG News 등 다양한 NLP 벤치마크에서 평가된다.

Figure 1: An example of successful prompt compression with SPC. The compressed prompt (green) in order to obtain a shorter length and maintain transferability and utility simultaneously than the original long prompt (red).

실험 결과

연구 질문

• RQ1 소프트 프롬프트 압축과 자연어 요약을 조합하면 LLM 추론 시간을 효과적으로 단축시킬 수 있을까? 동시에 컨텍스트 품질은 유지될까?
• RQ2 완전한 컨텍스트 입력 대비 압축된 소프트 프롬프트가 하류 작업 성능을 유지하거나 향상시킬 수 있는 정도는 어느 정도일까?
• RQ3 가중치 기반 메커니즘이 압축 표현에서 정보 유지 및 모델 유용성에 어떤 영향을 미칠까?
• RQ4 질의 응답, 감성 분석, 텍스트 분류와 같은 다양한 NLP 작업에 대해 이 프레임워크가 일반화 가능한가?
• RQ5 다양한 데이터셋에서 컨텍스트 압축 비율과 성능 저하 간의 상호 교환 관계는 어떠한가?

주요 결과

• SQuAD2.0 데이터셋에서 처리 시간이 최대 80.1% 감소했으며, CNN/Daily Mail, SST-2, AG News에서도 유사한 개선 효과를 보였다.
• 모든 평가된 벤치마크에서 모델 성능을 유지하거나 향상시켜, 압축에도 불구하고 강력한 유용성 유지가 확인되었다.
• 소프트 프롬프트 압축 프레임워크는 기본 LLM 아키텍처의 변경 없이도 상당한 계산 자원 절감 효과를 달성했다.
• 요약과 소프트 프롬프트의 통합은 의미적 풍부성과 작업 관련성을 유지하면서도 효과적인 컨텍스트 관리를 가능케 했다.
• 가중치 기반 메커니즘이 핵심 정보를 효과적으로 우선순위화하여 압축 효율성과 하류 작업 성능을 모두 향상시켰다.
• 질의 응답, 감성 분석, 텍스트 분류 등 여러 NLP 작업에서 강력한 일반화 능력을 보였다.

Figure 2: The illustration of SPC shows the compressed conversational answer expect with question.