[論文レビュー] Language Model Cascades

D. Dohan, Winnie Xu+10 more|arXiv (Cornell University)|Jul 21, 2022

Natural Language Processing Techniques被引用数 21

ひとこと要約

本論文は、文字列値変数上で動作するカスケードへ言語モデルを組み合わせる確率的プログラミングの枠組みを提示し、Scratchpad（スクラッチパッド）、 検証器、STaR、ツールの使用といった手法を言語モデル主導の推論パラダイムの下で統合する。カスケードが多段階の推論タスクに対処できることを示し、Twenty Questions を含む実装と実験結果の概要を示す。

ABSTRACT

Prompted models have demonstrated impressive few-shot learning abilities. Repeated interactions at test-time with a single model, or the composition of multiple models together, further expands capabilities. These compositions are probabilistic models, and may be expressed in the language of graphical models with random variables whose values are complex data types such as strings. Cases with control flow and dynamic structure require techniques from probabilistic programming, which allow implementing disparate model structures and inference strategies in a unified language. We formalize several existing techniques from this perspective, including scratchpads / chain of thought, verifiers, STaR, selection-inference, and tool use. We refer to the resulting programs as language model cascades.

研究の動機と目的

• 文字列値変数を用いた言語モデル推論のための統一的な確率的プログラミング枠組みを提供する。
• 既存のLM技術（スクラッチパッド、チェーン・オブ・思考、検証器、ツールの使用）が言語モデルのカスケードにどのように適合するかを示す。
• 多段階の推論タスクで枠組みを実証し、実装の詳細について議論する。
• カスケード内の半教師あり学習と推論戦略を探り、推論の質を向上させる。

提案手法

• LMによってパラメータ化された文字列値変数上の結合確率モデルを定義する。
• カスケードをトレースベースの確率的プログラムとしてPythonに埋め込み、任意の制御フローと再帰を可能にする。
• 未知の文字列に対する事後分布を算出するためにサンプリングベースの推論（例：祖先サンプリング）を用いる。
• スクラッチパッド/チェーン・オブ・思考、半教師あり学習（STaR）、選択-推論、検証器、ツールの使用などの手法をカスケードのノードとして組み込み、統合する。
• フォワードサンプリングを用いたTwenty Questionsの実験を示し、推論性能を評価するとともに、マルチモーダルおよびファインチューニング済みLM設定への拡張を議論する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミングの観点は、異なるLM推論手法（スクラッチパッド、検証器、STaR、ツールの使用）をどのように単一の枠組みに統合できるか？
• RQ2 言語モデルのカスケードは、文字列値変数上での複雑な多段階推論と動的制御フローを扱えるか？
• RQ3 カスケード内で推論戦略と学習法（例：半教師あり、ベイズ風）が推論品質をどのように向上させるか？
• RQ4 外部ツールやマルチモーダルデータを必要とするタスクへカスケードはどの程度適用可能か？
• RQ5 Twenty Questions のような対話的推論タスクにおけるカスケードの実証的潜在能力はどの程度か？

主な発見

• カスケードは文字列上の確率的プログラムへLMを組み合わせる柔軟な形式を提供する。
• スクラッチパッド、チェーン・オブ・思考、検証器、ツールの使用はカスケードのノードと観測として表現できる。
• STaRのような半教師あり手法はカスケード枠組み内のEM様のステップとして解釈できる。
• 自己整合性とサンプリング戦略は、カスケード内の実用的な推論手法として議論されている。
• 137B LMを用いた予備的なTwenty Questions実験は、提案手法がタスクの一部を解決できることを示している（報告設定で29%）。
• 文字列値変数を用いた推論の実践的な課題と、LMベースの提案や将来のプログラム合成の方向性を用いた潜在的解決策について論じている。