[論文レビュー] LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language

James Requeima, John Bronskill+3 more|arXiv (Cornell University)|May 21, 2024

Neural Networks and Applications被引用数 6

ひとこと要約

本論文は、数値データと自然言語テキストの両方を条件として大規模言語モデルから結合数値予測分布を引き出す LLM Processes (LLMPs) を定義し、これらが多次元回帰、密度推定、およびさまざまな応用分野で Gaussian Processes と競合しうることを示す。

ABSTRACT

Machine learning practitioners often face significant challenges in formally integrating their prior knowledge and beliefs into predictive models, limiting the potential for nuanced and context-aware analyses. Moreover, the expertise needed to integrate this prior knowledge into probabilistic modeling typically limits the application of these models to specialists. Our goal is to build a regression model that can process numerical data and make probabilistic predictions at arbitrary locations, guided by natural language text which describes a user's prior knowledge. Large Language Models (LLMs) provide a useful starting point for designing such a tool since they 1) provide an interface where users can incorporate expert insights in natural language and 2) provide an opportunity for leveraging latent problem-relevant knowledge encoded in LLMs that users may not have themselves. We start by exploring strategies for eliciting explicit, coherent numerical predictive distributions from LLMs. We examine these joint predictive distributions, which we call LLM Processes, over arbitrarily-many quantities in settings such as forecasting, multi-dimensional regression, black-box optimization, and image modeling. We investigate the practical details of prompting to elicit coherent predictive distributions, and demonstrate their effectiveness at regression. Finally, we demonstrate the ability to usefully incorporate text into numerical predictions, improving predictive performance and giving quantitative structure that reflects qualitative descriptions. This lets us begin to explore the rich, grounded hypothesis space that LLMs implicitly encode.

研究の動機と目的

• 自然言語を介してユーザーが提供する事前知識を確率モデルへ組み込む動機付け。
• LLMPs を、多次元回帰と密度推定のために LLM から引き出された結合予測分布として定義する。
• 数値データとテキストで LLM を条件づけつつ、一貫した不確実性を保証するプロンプティング戦略を開発する。
• 予測、画像再構成、ブラックボックス最適化を含む合成データおよび実データタスクを横断して LLMPs を評価する。
• 独立周辺と自己回帰の結合形式のトレードオフを探究し、Gaussian Processes などのベースラインと比較する。

提案手法

• 2つの結合予測分布構成を定義する：独立周辺分布 (I-LLMP) および自己回帰 (A-LLMP)（式 1 および A.3）。
• ターゲット空間を微細なビンに離散化し、ビン内一様性の仮定で質量を密度に変換することにより、LLM から連続的な尤度を引き出す。
• 慎重なフォーマット、順序付け、スケーリングで LLM をプロンプトし、整合的な結合予測と較正された不確実性を得る。
• リジェクションサンプリングと離散ビンアプローチを用いて、複数のターゲット点に対するLLMの予測分布を近似する。
• 柔軟な prompting とテキスト条件付けを通じて、欠損データ、多次元出力、および多峰性予測に LLMPs が対応できることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意のターゲット集合に対して、LLMs をプロンプトして一貫した結合数値予測分布を生成させることは可能か。
• RQ2 独立周辺 (I-LLMP) と自己回帰 (A-LLMP) の定式化は、確率過程としての妥当性と予測性能の点でどのように比較されるか。
• RQ3 非構造化テキストでの条件付けは、数値予測をどの程度改善し、定性的な問題記述を反映できるか。
• RQ4 多次元回帰、密度推定、画像再構成、ブラックボックス最適化タスクにおける LLMPs の性能は、Gaussian Processes などの従来手法と比べてどうか。
• RQ5 正確で較正された LLMP 予測を最も有効にするプロンプト戦略（フォーマット、順序付け、スケーリング）は何か。

主な発見

• LLMPs は複数のタスクで Gaussian Processes と競争力のある予測性能と良く較正された不確実性を示す。
• 自己回帰型 LLMPs (A-LLMP) は、予測精度と対数尤度の点で通常、独立周辺型 LLMPs (I-LLMP) を上回るが、ターゲットの順序は性能に影響する。
• 距離ベースのトレーニングポイントの順序付けと慎重なプロンプト整形は、プロンプトとモデル全体で NLL および MAE に大きく影響する。
• LLMPs はテキストベースの事前情報を組み込み予測を誘導でき、シナリオ条件付き予測やラベリング/単位を副次情報として活用できる。
• LLMPs は多次元回帰、密度推定、画像再構成、ブラックボックス最適化、関連データセットからのコンテキスト学習における能力を示す。）