[論文レビュー] Joint Prompt Optimization of Stacked LLMs using Variational Inference

Alessandro Sordoni, Xingdi Yuan+7 more|arXiv (Cornell University)|Jun 21, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、スタックされた大規模言語モデル（LLM）における一括プロンプト最適化のための変分推論フレームワークを提案する。隠れ層出力を潜在変数として扱い、変分境界を用いてプロンプトをエンドツーエンドで訓練することで、より小さな、性能が低いLLMを用いてGPT-4と同等の性能を達成する。この学習可能でモジュール型のディープ言語ネットワーク（DLN）アーキテクチャにより、推論および自然言語理解（NLU）タスクで最先端の結果を示している。

ABSTRACT

Large language models (LLMs) can be seen as atomic units of computation mapping sequences to a distribution over sequences. Thus, they can be seen as stochastic language layers in a language network, where the learnable parameters are the natural language prompts at each layer. By stacking two such layers and feeding the output of one layer to the next, we obtain a Deep Language Network (DLN). We first show how to effectively perform prompt optimization for a 1-Layer language network (DLN-1). Then, we present an extension that applies to 2-layer DLNs (DLN-2), where two prompts must be learned. The key idea is to consider the output of the first layer as a latent variable, which requires inference, and prompts to be learned as the parameters of the generative distribution. We first test the effectiveness of DLN-1 in multiple reasoning and natural language understanding tasks. Then, we show that DLN-2 can reach higher performance than a single layer, showing promise that we might reach comparable performance to GPT-4, even when each LLM in the network is smaller and less powerful.

研究の動機と目的

• 大規模言語モデルを再訓練する高コストと限られた柔軟性を解消するため、モジュール型で再利用可能なLLMコンponentsを可能にする。
• スタックされたLLMの各層にわたるプロンプトを一括して最適化することで、few-shotおよびzero-shotプロンプティングを改善する。
• 連鎖的思考（chain-of-thought）および自己一貫性（self-consistency）プロンプティングを、潜在変数推論を用いた構造的確率的モデルとして形式化する。
• より小さなLLMが、学習可能で微分可能なフレームワークを用いてスタックされ、プロンプト化されることで高い性能を達成できることを示す。
• 隠れ系列出力における変分推論を用いて、マルチレイヤーLLMパイプラインのエンドツーエンド訓練を可能にする。

提案手法

• 各LLM層を確率的言語層として扱い、プロンプトを学習可能なパラメータとすることで、ディープ言語ネットワーク（DLN）を構築する。
• 最初のLLM層の出力を潜在変数 $ h $ としてモデル化し、2層構成のDLN（DLN-2）において $ h $ の周辺分布を計算可能にする。
• 真の後方分布 $ p(h|x, \pi_0) $ を近似するため、変分推論を用いて最終出力の同時対数尤度を最適化する。
• 真の後方分布 $ p(h|x, \pi_0) $ を近似するための変分後方分布 $ q(h|x, \pi_1) $ を用い、プロンプト $ \pi_0 $ および $ \pi_1 $ の勾配ベース最適化を可能にする。
• 入力 $ x $、プロンプト $ \pi $、隠れ状態を組み合わせたテンプレートベースの入力構築法を採用し、LLM処理用に1つのシーケンスに統合する。
• 自動プロンプトエンジニア（APE）を拡張し、プロンプトにコンテキスト例および言語化されたハード例を統合することで、ベースラインのAPEより性能を向上させる。

Figure 1: Left : An illustration of a DLN-1 performing a sentiment analysis task: input and the trainable prompt are merged using a template and fed to the LM for answer generation. Right : a DLN-2 with a residual connection, performing the date understanding task: two prompts need to be learned. In

実験結果

リサーチクエスチョン

• RQ1 スタックされたLLMにわたる一括プロンプト最適化は、推論およびNLUタスクの性能を顕著に向上させることができるか？
• RQ2 2層構成のディープ言語ネットワーク（DLN-2）は、より小さな、性能が低いLLMを用いてGPT-4と同等の性能を達成できるか？
• RQ3 連鎖的思考（CoT）および自己一貫性（SC-CoT）プロンプティングは、推論パスに学習可能な事前分布を備えた確率的グラフィカルモデルとして形式化できるか？
• RQ4 隠れLLM出力における変分推論は、マルチレイヤーLLMパイプラインの効果的でエンドツーエンドの訓練を可能にするか？
• RQ5 タスク固有のプロンプトテンプレートを学習することで、固定または手作業で作成されたプロンプトよりも一般化性能と性能が向上するか？

主な発見

• 提案された一括プロンプト最適化手法は、プロンプトに言語化されたハード例を統合することで、複数の推論および自然言語理解タスクで標準的なAPEを上回る性能を達成した。
• DLN-2は単一層モデルよりも高い性能を示し、最適化されたプロンプトを用いたLLMのスタック化による利点を実証した。
• より小さな、性能が低いLLMを用いても、GPT-4と同等の性能を達成できることが示された。これは、巨大モデルの訓練に代わるスケーラブルな代替手段であることを示唆している。
• 連鎖的思考（CoT）および自己一貫性（SC-CoT）プロンプティングは、推論パスに学習可能な事前分布を備えたDLN-2フレームワークの特殊ケースとして形式化された。
• 変分推論フレームワークは、両方のプロンプト $ \pi_0 $ および $ \pi_1 $ をエンドツーエンドで効果的に訓練でき、後方分布の近似が効果的な勾配伝搬を可能にした。
• オープンソースのDLNコードベースにより、さまざまな下流タスクおよびモデルアーキテクチャへのフレームワークの再利用および拡張が可能になった。