[论文解读] Large language model validity via enhanced conformal prediction methods

John J. Cherian, Isaac Gibbs+1 more|arXiv (Cornell University)|Jun 14, 2024

Topic Modeling被引用 4

一句话总结

本文提出增强的约東推論方法，透過引入條件性約東推論與自適應置信水準，以及可微分的得分函數優化，以提升大型語言模型（LLM）輸出的有效性與實用性。該方法在多樣主題下確保條件性有效的保證，同時顯著保留比先前方法更多的精確陳述。

ABSTRACT

We develop new conformal inference methods for obtaining validity guarantees on the output of large language models (LLMs). Prior work in conformal language modeling identifies a subset of the text that satisfies a high-probability guarantee of correctness. These methods work by filtering claims from the LLM's original response if a scoring function evaluated on the claim fails to exceed a threshold calibrated via split conformal prediction. Existing methods in this area suffer from two deficiencies. First, the guarantee stated is not conditionally valid. The trustworthiness of the filtering step may vary based on the topic of the response. Second, because the scoring function is imperfect, the filtering step can remove many valuable and accurate claims. We address both of these challenges via two new conformal methods. First, we generalize the conditional conformal procedure of Gibbs et al. (2023) in order to adaptively issue weaker guarantees when they are required to preserve the utility of the output. Second, we show how to systematically improve the quality of the scoring function via a novel algorithm for differentiating through the conditional conformal procedure. We demonstrate the efficacy of our approach on biography and medical question-answering datasets.

研究动机与目标

• 針對現有LLM約東推論方法缺乏條件性有效性，導致在低資源或稀有主題上保證不可靠的問題。
• 降低先前約東事實性方法中因得分函數不完美所導致的過度過濾正確陳述的現象。
• 開發一種自適應選擇置信水準的方法，以在維持高事實正確性保證的同時，至少保留70%的陳述。
• 提出一種可微分框架，透過在約東推論流程內端到端優化，提升得分函數。
• 在合成與真實世界資料集（包括維基百科人物傳記與問答任務）上實證驗證該方法。

提出的方法

• 本文將條件性約東推論廣義化，允許自適應置信水準，其中水準依輸入而定，以在維持有效性之際最大化陳述保留率。
• 提出一種可微分演算法，透過反向傳播約東推論程序，優化得分函數，提升分數與事實正確性之間的對齊。
• 使用包含提示-回應-陳述-註解的校準資料集來訓練與校準得分函數與約東門檻。
• 針對每個輸入，該方法計算一置信水準，以確保包含錯誤陳述的機率低於使用者定義的門檻，且水準選擇以最大化保留的陳述數。
• 透過可微分損失進一步優化得分函數，懲罰錯誤陳述並鼓勵對正確陳述給予高分，利用來自約東推論過程的梯度。
• 框架以自我評估方法與檢索增強生成（RAG）為基礎，無需人工註解即可估計陳述的事實性。

Figure 1: The left panel displays the output of GPT-3.5-Turbo for the prompt “How often is a shingles vaccine required?” The first filtered output (center) is calibrated using the frequency score described in Section D.1 . The second filtered output (right) is calibrated using a score obtained via c

实验结果

研究问题

• RQ1 約東推論能否被調整以提供依輸入主題而變化的條件性有效保證，而非對所有提示均為邊際有效？
• RQ2 對得分函數進行可微分優化，能在多大程度上提升LLM中約東過濾的實用性？
• RQ3 自適應置信水準選擇如何影響陳述保留率，同時維持高事實正確性保證？
• RQ4 所提出的方法在低與高流行度主題上，是否在覆蓋率準確性與陳述保留率方面均優於邊際約東推論？
• RQ5 該方法是否能在標準方法失效的稀有或代表性不足主題上維持強大的事實有效性？

主要发现

• 所提出的水準自適應方法平均達63%的置信水準，此水準可確保至少保留70%的陳述，顯著優於需更高門檻而刪除更多內容的固定水準方法。
• 在維基百科人物傳記資料集上，該方法平均保留80%的陳述，同時每篇傳記的錯誤事實不超過3個，展現高實用性與有效性。
• 條件性約東推論方法在所有主題流行度區間均維持穩定覆蓋率，而Mohri與Hashimoto [19]的邊際方法在低瀏覽次數文章上表現出覆蓋率波動。
• 在固定10%顯著性水準下，增強的得分函數相比未增強的得分函數，使陳述保留率提升15–20%，箱型圖顯示在100組校準-測試分割中均呈現一致提升。
• 該方法在所有瀏覽次數區間均維持精確覆蓋率（與名目水準相差不超過2.5%），確認條件性有效性；而邊際方法在稀有主題上的覆蓋率錯誤高達15%。
• 在合成實驗中，該方法成功校準至目標置信水準，同時維持高陳述實用性，展現對分佈偏移的強健性。

Figure 2: Empirical demonstration of our methods. The panels display results for our conditional boosting and level-adaptive methods. We aim to issue outputs with $0$ factual errors, and for the latter method, we choose the level with the objective of retaining at least 70% of the original claims in