[論文レビュー] Large language model validity via enhanced conformal prediction methods

John J. Cherian, Isaac Gibbs+1 more|arXiv (Cornell University)|Jun 14, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）の出力の妥当性と有用性を向上させるために、条件付きコンフォーマル予測と適応的信頼水準を導入した拡張されたコンフォーマル予測手法を提案する。また、スコア関数の微分可能最適化を組み合わせることで、多様なトピックにわたり条件付きで妥当な保証を実現しつつ、従来手法よりも著しく正確な主張を保持する。

ABSTRACT

We develop new conformal inference methods for obtaining validity guarantees on the output of large language models (LLMs). Prior work in conformal language modeling identifies a subset of the text that satisfies a high-probability guarantee of correctness. These methods work by filtering claims from the LLM's original response if a scoring function evaluated on the claim fails to exceed a threshold calibrated via split conformal prediction. Existing methods in this area suffer from two deficiencies. First, the guarantee stated is not conditionally valid. The trustworthiness of the filtering step may vary based on the topic of the response. Second, because the scoring function is imperfect, the filtering step can remove many valuable and accurate claims. We address both of these challenges via two new conformal methods. First, we generalize the conditional conformal procedure of Gibbs et al. (2023) in order to adaptively issue weaker guarantees when they are required to preserve the utility of the output. Second, we show how to systematically improve the quality of the scoring function via a novel algorithm for differentiating through the conditional conformal procedure. We demonstrate the efficacy of our approach on biography and medical question-answering datasets.

研究の動機と目的

• 既存のコンフォーマル予測手法がLLMに適用される際の条件付き妥当性の欠如——特に低リソースまたはレアトピックにおいて信頼性の低い保証を生じる——を是正すること。
• 従来のコンフォーマル事実性手法における不完全なスコア関数が引き起こす正確な主張の過剰なフィルタリングを軽減すること。
• 少なくとも70％の主張を保持しつつ、高い事実性の正確性保証を維持できるように、適応的に信頼水準を選択する手法を開発すること。
• コンフォーマル予測パイプライン内でのエンドツーエンド最適化を可能にする、微分可能なフレームワークを導入すること。
• 合成データおよび実世界のデータセット（Wikipediaの人物伝および質疑応答タスク含む）を用いた実験的妥当性評価を実施すること。

提案手法

• 本稿では、条件付きコンフォーマル予測を一般化し、入力ごとに適応的信頼水準を選択することで、妥当性を維持しつつ主張保持率を最大化できるようにする。
• コンフォーマル予測手順を逆伝播可能にすることで、スコア関数を微分可能に最適化するアルゴリズムを導入し、スコアと事実性の正確性の整合性を高める。
• スコア関数およびコンフォーマルしきい値の学習・キャリブレーションに、プロンプト-応答-主張-アノテーションのタプルからなるキャリブレーションセットを用いる。
• 各入力に対して、誤った主張を含む確率がユーザーが定めたしきい値未満に抑えられるように、信頼水準を計算し、保持される主張数を最大化するように選択する。
• スコア関数は、誤った主張に対してペナルティを与えるとともに、真の主張に対して高いスコアを促進する微分可能な損失関数を用いて改善され、コンフォーマル予測プロセスからの勾配を活用する。
• スコア関数の推定に、自己評価法およびリtrieval増強生成（RAG）を用い、人間のアノテーションなしで主張の事実性を推定するフレームワークを実装する。

Figure 1: The left panel displays the output of GPT-3.5-Turbo for the prompt “How often is a shingles vaccine required?” The first filtered output (center) is calibrated using the frequency score described in Section D.1 . The second filtered output (right) is calibrated using a score obtained via c

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測は、すべてのプロンプトにわたってマージナルに妥当であるのではなく、入力のトピックに応じて変化する条件付き妥当な保証を提供できるか？
• RQ2 スコア関数の微分可能最適化は、LLMにおけるコンフォーマルフィルタリングの有用性をどの程度向上させ得るか？
• RQ3 適応的信頼水準選択は、高い事実性の正確性保証を維持しつつ、主張保持率にどのような影響を及えるか？
• RQ4 本手法は、低人気および高人気トピックの両方において、カバレッジの正確性と主張保持率の両面で、マージナルコンフォーマル予測を上回るか？
• RQ5 標準的手法が失敗するような珍しいまたは代表されないトピックにおいて、本手法は強固な事実性妥当性を維持できるか？

主な発見

• 提案手法のレベル適応型アプローチは、平均で63％の信頼水準を達成しており、これは少なくとも70％の主張を保持するように選択されており、固定水準手法がより高いしきい値を必要とし、より多くのコンテンツを削除するのと比べて顕著に優れている。
• Wikipediaの人物伝データセットでは、平均で80％の主張を保持しつつ、1件あたり3件未満の事実エラーを維持しており、高い有用性と妥当性を示している。
• 条件付きコンフォーマル手法は、すべてのトピック人気帯で安定したカバレッジを達成したが、MohriとHashimoto [19]のマージナル手法は、特に視聴回数が少ない記事においてカバレッジが変動していた。
• 固定10％の有意水準において、ブーストされたスコア関数は、ブーストなしのスコアに比べて主張保持率を15〜20％向上させた。ボックスプロットでは、100回のキャリブレーション-テスト分割において一貫した改善が確認された。
• 本手法は、すべての視聴回数帯で、名目水準（nominal level）から2.5％以内の正確なカバレッジを維持した。これに対して、マージナル手法は珍しいトピックにおいて最大15％のカバレッジ誤差を示した。
• 合成実験では、本手法はターゲット信頼水準に適切にキャリブレーションされつつ、高い主張の有用性を維持しており、分布シフトに対してもロバストであることが示された。

Figure 2: Empirical demonstration of our methods. The panels display results for our conditional boosting and level-adaptive methods. We aim to issue outputs with $0$ factual errors, and for the latter method, we choose the level with the objective of retaining at least 70% of the original claims in