[論文レビュー] Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models

Yuheng Huang, Jiayang Song+5 more|arXiv (Cornell University)|Jul 16, 2023

Software Engineering Research被引用数 17

ひとこと要約

探索的研究として、9つのLLMsに対し12の不確実性推定法をNLPおよびコード生成タスクで評価し、リスクのあるまたは事実でない出力を示す能力を評価した。高性能モデルでの細かな制限が観察された。

ABSTRACT

The recent performance leap of Large Language Models (LLMs) opens up new opportunities across numerous industrial applications and domains. However, erroneous generations, such as false predictions, misinformation, and hallucination made by LLMs, have also raised severe concerns for the trustworthiness of LLMs', especially in safety-, security- and reliability-sensitive scenarios, potentially hindering real-world adoptions. While uncertainty estimation has shown its potential for interpreting the prediction risks made by general machine learning (ML) models, little is known about whether and to what extent it can help explore an LLM's capabilities and counteract its undesired behavior. To bridge the gap, in this paper, we initiate an exploratory study on the risk assessment of LLMs from the lens of uncertainty. In particular, we experiment with twelve uncertainty estimation methods and four LLMs on four prominent natural language processing (NLP) tasks to investigate to what extent uncertainty estimation techniques could help characterize the prediction risks of LLMs. Our findings validate the effectiveness of uncertainty estimation for revealing LLMs' uncertain/non-factual predictions. In addition to general NLP tasks, we extensively conduct experiments with four LLMs for code generation on two datasets. We find that uncertainty estimation can potentially uncover buggy programs generated by LLMs. Insights from our study shed light on future design and development for reliable LLMs, facilitating further research toward enhancing the trustworthiness of LLMs.

研究の動機と目的

• LLMsの不確実性推定能力を理解することにより、信頼できる展開を促進する。
• 不確実性推定がLLMsの不確実または非事実的な予測を明らかにできるかを評価する。
• ブラックボックス設定のLLMsで機能するように、12の一般的な不確実性推定手法を適応させる。
• 複数のLLMsとタスクに跨る大規模な実験を実施し、有効性を評価する。

提案手法

• 単一推論、ベイズ、テスト時拡張のカテゴリーにまたがる12の不確実性推定法を実装した。
• 完全分布が利用できない場合には出力確率またはトップ-k確率を用いて、ブラックボックス設定のLLMsで動作するよう手法を適応させた。
• 手法を単一推論（Max Prob、Average Prob、Max Ent、Average Ent）と多重推論（VR、SampleおよびPerturbationバリアントを用いるVRO）に分類した。
• トークンレベルのスコアから文レベルおよび段落レベルの不確実性集計を定義した（例：最大/平均 -log p、最大/平均エントロピー）。
• 温度ベースのサンプリングと撹乱に基づくテスト時拡張による確率的推論を活用して複数の予測を得た。
• 発散ベースの指標として2つの指標（Variation Ratio VRとOriginal予測のVariation Ratio VRO）を適用して推論間の不一致を定量化した。
• 距離ベース（コサイン類似度）およびタスク固有の指標を用いて不確実性と性能の相関を算出した。
• NLPタスク（QA、要約、翻訳）およびコード生成タスク（HumanEval、MBPP）を、オープンソースとクローズドソースのLLMsの混合を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1：不確実性推定技術はNLPタスクにおけるLLMsの潜在的リスクをどの程度識別するのに役立つか？
• RQ2 RQ2：NLPタスクに適用した際、不確実性推定法が直面する制約は何か？
• RQ3 RQ3：コード生成におけるLLMsの潜在的リスクを識別するのに不確実性推定法はどの程度役立つか？
• RQ4 RQ4：コード生成への適用時、不確実性推定法が直面する潜在的制約は何か？

主な発見

• 不確実性の測定は、一般的なNLPタスクにおいてLLMsの不確実なまたは非事実的な予測を明らかにするのに役立つ。
• 不確実性推定はLLMsが生成する不具合のあるプログラムを特定する指標として有望である。
• 高性能な商用モデルにおける微妙なエラーを検出するのが難しいことがある。
• 異なるLLMsは顕著に異なる不確実な挙動を示すことがあり、モデル固有の最適化が必要になる可能性を示唆している。
• The prompt template used in RLHF could impact the accuracy of uncertainty estimation.