[論文レビュー] Learning and Leveraging Verifiers to Improve Planning Capabilities of Pre-trained Language Models

Daman Arora, Subbarao Kambhampati|arXiv (Cornell University)|May 26, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、微調整されたLLM向けの検証者拡張計画フレームワークを提案する。別個の検証者モデルを訓練し、計画経路における不正な行動を検出する。同じデータセットからランダムにサンプリングされたネガティブ例を用いて、検証者は不正な行動をプルーニングし、ベースライン生成者と比較して成功率を27%向上させ、Blocksworld計画タスクでは不良遷移率を52%から5%に低下させた。

ABSTRACT

There have been wide spread claims in the literature about the emergent reasoning capabilities of Pretrained Large Language Models. However, recent studies, have found that their ability to plan remains questionable. Through our experiments using GPT-2, we empirically demonstrate that the performance of a finetuned baseline remains poor because it violates pre-conditions of actions in the plans that it generates. To improve the planning capabilities of a finetuned LLM, we train a verifier, which can classify actions as being valid or invalid in a particular state. By randomly sampling actions from the same dataset, we generate examples of invalid actions which are then used to train a verifier which can check for action applicability. In the presence of diverse sampling from a generator and a verifier which can prune invalid trajectories, we show significant gains in the success rate on the Blocksworld domain. Additionally, we show that finetuning the GPT-2 generator itself to create the verifier generalizes better than finetuning the base GPT-2. Lastly, we investigate the role of the sampling temperature which can be used to control the exploration-exploitation tradeoff.

研究の動機と目的

• 微調整されたLLMの計画性能が低い問題に取り組む。特に、行動の事前条件を無視する傾向があること。
• 学習された検証者が、リアルタイムで不正な行動を検出することで計画品質を向上させられるかを調査する。
• 検証のための微調整を生成者自身に施すことで、ベースのLLMを用いるよりも一般化性能が向上するかを検討する。
• サンプリング温度が計画生成における探索と活用のトレードオフに与える影響を分析する。
• 検証者拡張生成が、ベースラインモデルと比較して生成試行回数の増加に伴い、よりよくスケーリングするかを評価する。

提案手法

• 同じデータセットからランダムな行動をサンプリングすることでネガティブ例を生成し、成功経路のデータセット上で検証者モデルを訓練する。
• 事前条件に基づいて、与えられた状態で特定の行動が適用可能かどうかを検証者が分類する。
• 生成・テストループに検証者を統合する：生成者が複数の経路をサンプリングし、検証者が不正な行動をフィルタリングする。
• ベースのGPT-2モデル（V_base）ではなく、生成者自身を微調整して検証者（V_generator）を構築することで一般化性能を向上させる。
• 生成中にサンプリング温度を制御し、探索と活用のバランスをとる。ハイパーパrameterのサーチはτ ∈ {0.2, 0.5, 0.8, 1.1}で行う。
• 生成試行回数（k ∈ {1, 8, 16, 25}）を変化させながら、ゴール到達率（GRR）と不良遷移率（BTR）を用いて性能を評価する。

Figure 1: The figure shows a prompt which contains $s_{i}$ and $s_{g}$ , which is given to the generator as input and the output it generates, which contains $a_{i}$ and $s_{i+1}$ . The verifier taken the current state $s_{i}$ and generated action $a_{i}$ as input. After each transition generation,

実験結果

リサーチクエスチョン

• RQ1 同じデータセットからのネガティブ例を自己教師的に学習した検証者が、LLMベースの計画者の成功率を顕著に向上させられるか？
• RQ2 生成者自身を微調整して検証者を構築することで、ベースのLLMを微調整するよりも一般化性能が向上するか？
• RQ3 サンプリング温度が計画生成における探索と活用のバランスにどのように影響するか？
• RQ4 検証者拡張生成は、ベースライン生成者と比較して生成試行回数の増加に伴い、よりよくスケーリングするか？
• RQ5 検証者が生成された経路における不正な行動の発生率をどの程度低減できるか？

主な発見

• 25回の生成試行が与えられた場合、検証者を備えた生成者がベースライン生成者と比較して27%高いゴール到達率（GRR）を達成した。
• ベースラインでは不良遷移率（不正な行動）が52%であったが、検証者を用いることでわずか5%に低下した。
• ベースライン生成者の性能は16回の試行で頭打ちになるが、検証者拡張モデルは試行回数の増加に伴いさらなる向上を示した。
• 生成者自身を微調整して検証者（V_generator）を構築した場合、GRR = 0.655という結果が得られ、ベースのGPT-2を微調整した場合（V_base、GRR = 0.635）よりも優れた結果となった。
• サンプリング温度は性能に非単調な影響を示し、最適値はτ ≈ 0.8付近に位置しており、探索と活用のトレードオフが顕在化している。
• 検証者ベースのアプローチにより、生成試行回数の増加に伴う一貫したスケーリングが可能であり、検証がLLM計画の信頼性にとって不可欠であることが示された。

Figure 2: GRR of generator+verifier@k and generator@k with increasing number of attempts at generating a plan