[論文レビュー] Efficient Guided Generation for Large Language Models

Brandon T. Willard, Rémi Louf|arXiv (Cornell University)|Jul 19, 2023

Topic Modeling被引用数 19

ひとこと要約

論文は指導付きLLM生成を有限状態機械の遷移として再定式化し、語彙インデックスを構築して、各ステップでの平均的マスキングをO(1)に拡張し、正規表現とCFGに拡張、Outlinesで実装。

ABSTRACT

In this article we show how the problem of neural text generation can be constructively reformulated in terms of transitions between the states of a finite-state machine. This framework leads to an efficient approach to guiding text generation with regular expressions and context-free grammars by allowing the construction of an index over a language model's vocabulary. The approach is model agnostic, allows one to enforce domain-specific knowledge and constraints, and enables the construction of reliable interfaces by guaranteeing the structure of the generated text. It adds little overhead to the token sequence generation process and significantly outperforms existing solutions. An implementation is provided in the open source Python library Outlines

研究の動機と目的

• 厳格なフォーマットとドメイン固有の制約を満たすために、大規模言語モデルからの制約付きテキスト生成を動機づける。
• 正規表現とCFGを用いて生成をガイドする、有限状態機械(FSM)に基づくフレームワークを開発する。
• 有効な次トークンを効率的に決定するため、モデル語彙に対するインデックスを作成する。
• このアプローチを文脈自由文法およびLALR(1)パーサへ拡張し、構造化出力をサポートする。
• 既存の手法と比較してモデルへ依存しない適用性と低オーバーヘッドを示す。

提案手法

• 正規表現とパーサーに対応するFSMを用いて制約を表現する。
• 制約を課す条件付き分布を形成するために、LLMの出力ロジットをマスキングする。
• 各ステップでO(1)のマスキングを実現するために、FSM状態を次の有効トークン（sigma）へ対応付けるインデックスを構築するために語彙を事前処理する。
• ガイド付き生成を可能にするアルゴリズム（sample_tokens、sample_tokens with masking、find_sub_sequences、map_states_to_vocab）を提供する。
• FSMアプローチをプッシュダウンオートマタへ拡張してCFGベースのパースを実現し、LALR(1)パーサとの潜在的統合について議論する。
• Outlinesライブラリでの実装を示し、既存のガイダンスベース手法と比較する。

Figure 1 : FSM masking for the regular expression ([0-9]*)?\.?[0-9]* .

実験結果

リサーチクエスチョン

• RQ1 正規表現やCFG制約を課す際、指導付き生成をどのように効率的に実行できるか？
• RQ2 語彙の有限状態機械ベースのインデックスは、各ステップで有効な次トークンの定数時間決定を可能にしますか？
• RQ3 このFSMベースのガイディング手法を、正規表現制約からCFGおよび実用的なプログラミング言語文法（例: Python、SQL）へ拡張するには？
• RQ4 実際のLLMワークフローでこのようなインデックスを構築・使用する際の実用的なトレードオフ（メモリ対計算）とは何か？

主な発見

• 本手法は語彙-状態インデックスを介して有効な次トークンを決定する際の平均コストをO(1)に達成する。
• FSM/CFG情報を含むマスクでLLM出力をマスキングすることで、低い実行時オーバーヘッドの制約付きガイド生成を実現。
• インデックス構築はオフラインで行われ、FSM状態から語彙サブセットへのマップを使用して、実行時の高速マスキングを実現する。
• 本手法は正規表現を超えCFGへ拡張され、構造化出力をサポートするためのLALR(1)パーサの統合の土台を築く。
• 実証的な比較は、いくつかの既存の制約付きデコーディング手法よりも顕著な効率向上を示し、Outlinesにオープンソース実装がある。