[논문 리뷰] Joint Prompt Optimization of Stacked LLMs using Variational Inference

Alessandro Sordoni, Xingdi Yuan외 7명|arXiv (Cornell University)|2023. 06. 21.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 스택형 대규모 언어 모델(Large Language Models, LLMs)에서 공동 프롬프트 최적화를 위한 변분 추론 프레임워크를 제안한다. 이는 은닉 레이어 출력을 잠재 변수로 간주한다. 변분 경계를 사용해 프롬프트를 엔드 투 엔드로 훈련시킴으로써, 더 작은, 더 적은 성능을 지닌 LLMs를 사용해 GPT-4 수준의 성능을 달성하며, 학습 가능한 모듈식 딥 랭귀지 네트워크(DLN) 아키텍처를 통해 추론 및 자연어 이해(NLU) 작업에서 최신 기술 수준의 결과를 보여준다.

ABSTRACT

Large language models (LLMs) can be seen as atomic units of computation mapping sequences to a distribution over sequences. Thus, they can be seen as stochastic language layers in a language network, where the learnable parameters are the natural language prompts at each layer. By stacking two such layers and feeding the output of one layer to the next, we obtain a Deep Language Network (DLN). We first show how to effectively perform prompt optimization for a 1-Layer language network (DLN-1). Then, we present an extension that applies to 2-layer DLNs (DLN-2), where two prompts must be learned. The key idea is to consider the output of the first layer as a latent variable, which requires inference, and prompts to be learned as the parameters of the generative distribution. We first test the effectiveness of DLN-1 in multiple reasoning and natural language understanding tasks. Then, we show that DLN-2 can reach higher performance than a single layer, showing promise that we might reach comparable performance to GPT-4, even when each LLM in the network is smaller and less powerful.

연구 동기 및 목표

• 대규모 언어 모델을 처음부터 훈련하는 데 드는 높은 비용과 제한된 적응 가능성 문제를 해결하기 위해 모듈식이고 재사용 가능한 LLM 컴포넌트를 가능하게 하기 위해.
• 스택형 LLM 레이어 전반에 걸쳐 프롬프트를 공동 최적화함으로써 소수의 예시 및 제로샷 프롬프팅 성능을 향상시키기 위해.
• 사슬의 사고(Chain-of-Thought) 및 자기 일관성(self-consistency) 프롬프팅을 잠재 변수 추론을 사용한 구조화된 확률 모델로 공식화하기 위해.
• 학습 가능한, 미분 가능한 프레임워크를 사용해 스택형 및 최적화된 프롬프트로 더 작은 LLMs가 높은 성능을 달성할 수 있음을 보여주기 위해.
• 은닉 시퀀스 출력에 대한 변분 추론을 통해 다층 LLM 파이프라인의 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 각 LLM 레이어를 프롬프트가 학습 가능한 파rameter인 확률적 언어 레이어로 간주하여 딥 랭귀지 네트워크(DLN)를 구성한다.
• 첫 번째 LLM 레이어의 출력을 잠재 변수 $ h $로 모델링하여, 두 레이어로 구성된 DLN(DLN-2)에서 $ h $에 대한 주변화(marginalization)를 가능하게 한다.
• 최종 출력의 연합 로그우도를 최적화하기 위해 변분 추론을 적용하여 $ h $에 대한 진정한 사후분포를 근사한다.
• 진정한 사후분포 $ p(h|x, \pi_0) $ 를 근사하기 위해 변분 사후분포 $ q(h|x, \pi_1) $ 를 사용하여 프롬프트 $ \pi_0 $ 와 $ \pi_1 $ 의 기울기 기반 최적화를 가능하게 한다.
• 입력 $ x $, 프롬프트 $ \pi $, 은닉 상태를 결합한 템플릿 기반 입력 구조를 사용하여 LLM 처리를 위한 단일 시퀀스로 통합한다.
• 자동 프롬프트 엔지니어링(APE)을 확장하여 프롬프트에 인라인 예시 및 언어화된 어려운 예시를 포함함으로써, 기준 APE 대비 성능 향상을 이룬다.

Figure 1: Left : An illustration of a DLN-1 performing a sentiment analysis task: input and the trainable prompt are merged using a template and fed to the LM for answer generation. Right : a DLN-2 with a residual connection, performing the date understanding task: two prompts need to be learned. In

실험 결과

연구 질문

• RQ1 스택형 LLM 전반에 걸친 공동 프롬프트 최적화가 추론 및 NLU 작업 성능을 크게 향상시킬 수 있는가?
• RQ2 두 레이어로 구성된 딥 랭귀지 네트워크(DLN-2)가 더 작은, 더 적은 성능을 지닌 LLMs를 사용해 GPT-4 수준의 성능을 달성할 수 있는가?
• RQ3 사슬의 사고(Chain-of-Thought) 및 자기 일관성(self-consistency) 프롬프팅을 학습 가능한 사전분포를 가진 확률 그래픽 모델로 공식화할 수 있는가?
• RQ4 은닉 LLM 출력에 대한 변분 추론이 다층 LLM 파이프라인의 효과적인 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ5 작업에 특화된 프롬프트 템플릿을 학습하는 것이 고정되거나 수작업으로 구성된 프롬프트보다 일반화 능력과 성능을 향상시키는가?

주요 결과

• 제안된 공동 프롬프트 최적화 방법은 프롬프트에 언어화된 어려운 예시를 통합함으로써, 다양한 추론 및 자연어 이해 작업에서 표준 APE를 능가하는 성능을 달성한다.
• DLN-2는 단일 레이어 모델보다 높은 성능을 보이며, 최적화된 프롬프트로 LLM을 스택형으로 구성함으로써 그 이점을 입증한다.
• 학습 가능한, 기울기 기반 프레임워크를 사용해 더 작은, 더 적은 성능을 지닌 LLMs를 사용함으로써 GPT-4 수준의 성능을 달성할 수 있으며, 이는 거대 모델을 훈련하는 데 대체 가능한 스케일러블한 접근법임을 시사한다.
• 사슬의 사고(CoT) 및 자기 일관성(SC-CoT) 프롬프팅은 학습 가능한 사전분포를 가진 DLN-2 프레임워크의 특수한 경우로 공식화된다.
• 변분 추론 프레임워크는 프롬프트 $ \pi_0 $ 와 $ \pi_1 $ 를 엔드 투 엔드로 성공적으로 훈련시키며, 사후분포 근사가 효과적인 기울기 전파를 가능하게 한다.
• 오픈소스 DLN 코드베이스는 다양한 후행 작업 및 모델 아키텍처에 대해 프레임워크의 재사용 및 확장 가능성을 보장한다.